Erkennung von verfügbarkeitsgefährdendem Nutzerverhalten im dCache-System

Abstract

Das Ziel der vorliegenden Arbeit ist es in den Transfer-Events und pool-info-Logs des dCache-Speichersystems Indikatoren zu identifizieren, die auf ein verfügbarkeitsgefährdendes Nutzerverhalten durch parallele Dateizugriffe hindeuten.Weiterhin soll mit diesen Indikatoren ein Klassifikations-Modell auf Basis der logistischen Regression entwickelt werden, welches in ein Software-Tool eingebettet wird, welches im Anschluss evaluiert wird. Um Indikatoren in den Events und Log-Daten zu identifizieren wurde der KDDProzess genutzt, wodurch strukturiert Merkmale in den Daten ausgewählt und extrahiert werden konnten. Mit diesen Daten konnte ein Modell trainiert und getestet werden. Das Software-Tool ist auf Basis eines MAPE-Loops entwickelt worden, in welchen das Modell eingebettet wurde. Mittels verschiedener Evaluationsmetriken ist das Modell mit Referenzwerten und einem Baseline-Klassifikator verglichen worden. Zur Evaluation ist das Software-Tool in den Betrieb integriert worden und hat die Zugriffe der echten Nutzer überwacht. Zur reproduzierbaren Evaluation wurden verschiedene Zugriffsmuster simuliert.Diese Arbeit konnte zeigen, dass sich aus den Transfer-Events Indikatoren extrahieren lassen und diese auch erfolgreich zum Training eines Modells verwendet werden können. Weiterhin konnte dieses in ein funktionierendes Software-Tool integriert werden, welches getestet wurde. Die Ergebnisse der Evaluation zeigen, dass das Modell im Betrieb verfügbarkeitsgefährdende Zugriffe erkennt und meldet. Im Zuge der Evaluation ist ein weiterer Indikator ermittelt worden, welcher genutzt werden kann, um möglicherweise die Anzahl an Falschmeldungen zu verringern. Die Simulation der Zugriffe hat nicht zum erwarteten Ergebnis geführt, es konnten aber mögliche Ursachen identifiziert werden.

The objective of the present work is to identify indicators of user behavior potentially threatening availability through parallel file accesses in the transfer events and pool-info logs of the dCache storage system. Additionally, a classification model based on logistic regression is developed using these indicators, embedded into a software tool, and evaluated. The Knowledge Discovery in Databases (KDD) process was employed to systematically select and extract features from the events and log data. With these data, a model was trained and tested. The software tool was developed based on a Monitoring, Analyze, Planning, Execution Loop (MAPE-Loop), incorporating the model. The model was compared with reference values and a baseline classifier using various evaluation metrics. For evaluation, the software tool was integrated into operations, monitoring real user accesses. Different access patterns were simulated for reproducible evaluation. This study demonstrated that indicators can be extracted from transfer events and successfully used for model training. Furthermore, the model was integrated into a functional software tool and successfully tested. Evaluation results indicate that the model detects and reports availability-threatening accesses during operations. An additional indicator was identified during evaluation, which could potentially reduce false positives. Simulating accesses did not yield the expected results, but potential causes were identified.