Machine Learning im Big Data Umfeld – Experimenteller Vergleich von Apache Flink und Apache Spark

Abstract

Das Große Thema in der Informatik ist zur Zeit der Bereich der „Künstlichen Intelligenz“, ein Teilbereich aus diesem ist das „Maschinelle Lernen“. Die Open Source Big Data Frameworks Apache Flink und Apache Spark bieten verschiedene Bibliotheken und Schnittstellen an, unter anderem für Machine Learning. In dieser Thesis soll herausgefunden werden, welches Framework sich für welchen Einsatz besser eignet. Das Experiment zeigte, dass Apache Flink einen leichten Performance Vorteil in bestimmten Versuchen gegenüber Apache Spark gezeigt hat.

At the moment the big topic in computer science is "‘Artficial Intelligence"’, a subsection of this is "‘Machine Learning"’. The open source Big Data Frameworks Apache Flink and Apache Spark ffer various libraries and interfaces such as machine learning. In this thesis the intent is to find out which framework is better for which assignment. The experiment showed that Apache Flink has a slighty performance advantage in certain attempts compared to Apache Spark.