Experimental comparison between Apache Spark and Flink in heterogeneous hardware environments

Abstract

Apache Spark und Flink werden kommerziell vorwiegend in Rechenzentren mit hochperformanten Computern eingesetzt. Ein gänzlich anderes Szenario stellt der Einsatz von heterogener Hardware dar, welches in dieser Studie betrachtet wird. In verschiedenen Versuchsaufbauten wird die Datenverarbeitung getestet und die Leistungsfähigkeit beider Systeme analysiert. Dafür wurden fünf Hypothesen aufgestellt und betrachtet. Es konnte gezeigt werden, dass das Hinzufügen von zu schwacher Hardware einen negativen Einfluss auf die Leistung eines Clusters hat. Weiterhin hat die Leistungsfähigkeit der Master Node einen signifikanten Einfluss auf die Gesamtleistung. Beim Systemvergleich schnitt Spark besser in der Stapelverarbeitung ab, wohingegen sich Flink bei der kontinuierlichen Verarbeitung überlegen zeigte.

Apache Spark and Flink are primarily deployed in commercial data centers on highperformance nodes. A fundamentally different approach is the utilization of heterogeneous hardware, which is considered in this study. In various experimental setups, data processing is being trialed and the performance of both systems is being analyzed. For this purpose, five hypotheses were formulated and investigated. It was shown, that insufficient hardware has a negative influence on a cluster. Additionally, the performance of the master node has a significant influence on the overall performance. Upon comparing both frameworks, Spark showed better performance in batch processing, whereas Flink was found to be superior in stream processing.