Anomalie-Erkennung mit Hilfe von Machine-Learning-Algorithmen/Technologien

Abstract

Die steigende Menge an Daten, von der besonders Maschinendaten in Unternehmen betroffen sind, zählt zu einer der am schnellsten wachsenden Bereiche der so genannten „Big Data“. Generiert werden die Maschinendaten von Webseiten, Applikationen, Servern, Netzwerkkomponenten und vielen weiteren Geräten. Diese werden anschließend unter anderem in Log-Dateien abgelegt. Zur Analyse von Log-Dateien wird in der Otto GmbH & Co. KG unter anderem die Software Splunk Enterprise der Firma Splunk Inc. eingesetzt. Die derzeit über 13 Milliarden indizierten Events werden in Splunk verarbeitet und bilden die Grundlage für fundierte Entscheidungen. In der vorliegenden Arbeit wird untersucht, wie in diesen Datenmengen Anomalien anhand von unqualifizierten Eventmengen in der Backend-Architektur der Otto GmbH & Co. KG erkannt werden können. Dabei liegt der Fokus der Arbeit auf der Anomalie- Erkennung mit Hilfe von Machine-Learning-Algorithmen und -Technologien. Die Darlegung der wissenschaftlichen Grundlagen und Ergebnisse aus bereits getätigten Forschungsarbeiten unterschiedlicher Wissenschaftler bilden neben den Erkenntnissen aus Experteninterviews die Basis der Untersuchungen.

The increasing amount of data that are affected by the particular machine data in companies is one of the fastest growing areas of the so-called "Big Data". The machine data are produced by websites, applications, server, network components and many other devices. These produced data are stored in log files. The company Otto GmbH & Co. KG uses the software Splunk Enterprise form the company Splunk Inc. to analyse log files. Currently more than 13 billion indexed Events are processed in Splunk and form the basis for well-founded decisions. This thesis examines how anomalies based on unqualified amounts of events in the backend-architecture of the Otto GmbH & Co. KG can be detected. At this point the focus is on Anomaly-Detection with the help of machine learning algorithms and -technologies. They are based on the knowledge gained from interviews with experts, which are carried out in this work. The explanation of scientific bases, results of research conducted by different scientists as well as gained knowledge from expert interviews build the basis of these investigations.