Experimental comparison between Apache Spark and Flink in heterogeneous hardware environments - Alexander Könemann (2024)
Apache Spark und Flink werden kommerziell vorwiegend in Rechenzentren mit hochperformanten Computern eingesetzt. Ein gänzlich anderes Szenario stellt der Einsatz von heterogener Hardware dar, welches in dieser Studie betrachtet wird. In verschiedenen Versuchsaufbauten wird die Datenverarbeitung getestet und die Leistungsfähigkeit beider Systeme analysiert. Dafür wurden fünf Hypothesen aufgestellt und betrachtet. Es konnte gezeigt werden, dass das Hinzufügen von zu schwacher Hardware einen negativen Einfluss auf die Leistung eines Clusters hat. Weiterhin hat die Leistungsfähigkeit der Master Node einen signifikanten Einfluss auf die Gesamtleistung. Beim Systemvergleich schnitt Spark besser in der Stapelverarbeitung ab, wohingegen sich Flink bei der kontinuierlichen Verarbeitung überlegen zeigte.
Keywords: Apache Spark; Apache Flink; Stapelverarbeitung; kontinuierliche Verarbeitung; Raspberry Pi