Analyse von Validierungsstrategien für Machine Learning Modelle im Bereich der Zeitreihenprognose

Abstract

Das Ziel dieser Arbeit ist die Analyse von Validierungsverfahren für Machine Learning Mo-delle, die zur Anwendung in der Zeitreihenprognose geeignet sind. Denn die zufällige Unter-teilung von Daten durch allgemeine Validierungsverfahren, entfernt zum Teil die Reihenfolge der geordneten Zeitpunkte, die bei Zeitreihen essenziell sind. Nach grundlegender Einführung in die Thematik wird die Vorgehensweise zur Bewertung eines Modells, der gängigen Fehlermaße und unterschiedlicher Validierungsverfahren aufge-führt. Anknüpfend wird beleuchtet, ob diese für Zeitreihen geeignet sind und speziell für Zeitreihen geeignete Validierungsverfahren aufgezeigt. Im Anschluss wird, als Grundlage empirischer Experimente, die Entwicklung eines Frameworks zur synthetischen Zeitreihengenerierung und automatisierten Ausführung der vorher gezeigten Validierungsverfahren erläutert. Daraufhin werden mehrere Versuche mithilfe des Frameworks durchgeführt, in denen untersucht wird wie sich eines der Validierungsverfahren mit unterschiedlichen Parameterwerten, zu einer saisonalen Periodenlänge innerhalb von synthetischen Zeitreihen anhand exemplarischer ML-Modelle verhält. Die abschließende Auswertung der Ergebnisse zeigt auf, dass die eingesetzten Modelle unter-schiedliche Resultate produzieren und die Ursache nicht eindeutig festgestellt werden kann. Dennoch wird ersichtlich, wie ausschlaggebend die Parameterwahl des Validierungsverfahrens in Bezug zur Modellbewertung ist und dass nicht nur Daten und Modell für eine Bewertung relevant sind.

The goal of this work is to analyze validation methods for machine learning models that are suitable for use in time series forecasting. This is because the random partitioning of data by general validation methods partially removes the order of ordered time points, which are essential in time series. After a basic introduction to the topic, the procedure for the evaluation of a model, the common error measures and different validation methods are presented. Following this, it is examined whether these are suitable for time series and suitable validation methods especially for time series are discussed. Subsequently, as a basis for empirical experiments, the development of a framework for synthetic time series generation and automated execution of the previously shown validation methods is desrcibed. Thereafter, several experiments are conducted using the framework, in which it is investigated how one of the validation methods behaves with different parameter values, to a seasonal period length within synthetic time series using exemplary ML models. The final evaluation of the results shows that the models used produce different results and that the cause cannot be clearly determined. Nevertheless, it becomes obvious how crucial the parameter choice of the validation procedure is in relation to the model evaluation and that not only data and model are relevant for an evaluation.