Konzept einer Lambda-Architektur für verteilte mobile Sensorknoten

Abstract

Um die immer steigende Anzahl an Daten zu bewältigen, entwickelte Nathan Marz die Lambda-Architektur. Diese berechnet Daten auf zwei unterschiedlichen Pfaden. Dadurch kann die Lambda-Architektur Consistency und Availability vereinen und bestmögliche Ergebnisse liefern. Um die Machbarkeit einer Lambda-Architektur zu zeigen, wird hier ein Prototyp entwickelt. Für die Umsetzung des Prototyps werden eine Vielzahl an Technologien wie Apache Hadoop, Apache Spark und Apache Druid benutzt. Mit dem erfolgreich umgesetzten Prototyp wird gezeigt, dass eine Lambda-Architektur gute Ergebnisse liefert, aber auch in ihrer Umsetzung komplex ist.

To handle the ever-increasing amount of data, Nathan Marz developed the lambdaarchitecture. The architecture calculates data on two different paths. This allows the combination of consistency and availability to deliver the best possible results. A prototype is developed to show the feasibility of the lambda-architecture. Therefor a variety of technologies, such as Apache Hadoop, Apache Spark and Apache Druid are used to implement the prototype. The successfully implemented prototype shows that a lambdaarchitecture delivers good results, but that an implementation is complex.