Graphen im Big Data Umfeld - Experimenteller Vergleich von Apache Flink und Apache Spark

Abstract

Graphen eignen sich ideal, um Relationen zwischen Objekten abzubilden. Allerdings benötigen die Big Graphs spezielle Systeme, um diese zu verarbeiten und zu analysieren. Die Open Source Frameworks Apache Flink und Apache Spark stellen Bibliotheken für verteilte Graphverarbeitungen bereit. Im Rahmen dieser Thesis soll verglichen werden, welches Framework sich besser für diesen Zweck eignet. Mehrere Experimente zeigen, dass Gelly (Flink) leichte Vorteile gegenüber Graph (Spark) bietet und dass die Systeme unterschiedlich skalieren. Marc Kaepke

Graphs are ideal for mapping relations between objects. However, the Big Graphs require special systems to process and analyze them. The open source frameworks Apache Flink and Apache Spark provide libraries for distributed graph processing. Within the framework of this bachelor’s thesis it is intended to compare which framework is more convenient for this purpose. Several experiments show that Gelly (Apache Flink) o ers slight advantages over GraphX (Apache Spark) and that the systems scale di erently.