Adaptives maschinelles Lernen mit Mixture of Experts

Abstract

Bis 2025 werden 41,6 Milliarden IoT-Geräte erwartet. Dadurch wächst die Menge an kontinuierlich generierten Daten rasant. Klassische maschinelle Lernverfahren, die auf statischen Datensätzen trainiert werden, sind nicht in der Lage, sich kontinuierlich an dynamische Umgebungen anzupassen. Problematisch ist dabei der Konzeptdrift, der dazu führt, dass Modelle im Laufe der Zeit an Genauigkeit verlieren. Zur Steigerung der Robustheit und Genauigkeit des kontinuierlichen Lernens stellt diese Arbeit einen neuartigen Ansatz vor, der auf den Erkenntnissen einer systematischen Literaturrecherche basiert. Dieser Ansatz kombiniert Online Maschinelles Lernen (OML) mit Mixture of Experts (MoE) in einer neuartigen inkrementellen MoE-Architektur. Zur Evaluierung dieser hybriden Architektur werden verschiedene Experimente zur Regression und Klassifikation vorgestellt, die durch geeignete Methoden bewertet werden. Diese Arbeit präsentiert die Implementierung des Frameworks riverMoE, welches die konzipierte hybride Architektur als Erweiterung eines bestehenden OML-Frameworks realisiert. Die Ergebnisse der durchgeführten Experimente zeigen, dass die gezielte gewichtete Kombination von Einzelprognosen auch mit inkrementellen Lernalgorithmen zu präziseren Gesamtprognosen führen kann. Erwartungsgemäß erfordert die Nutzung neuronaler Komponenten einen erhöhten Rechen- und Speicheraufwand. Zudem zeigen die Experimente in adaptiven Umgebungen eine höhere Stabilität gegenüber Konzeptdrift, die jedoch von der Initialisierung abhängt. Auf Grundlage der Ergebnisse wird empfohlen, die bisher umgesetzten inkrementellen MoE-Varianten um zusätzliche Ansätze zu erweitern und weitere Experimente durchzuführen. Darüber hinaus sollte die Erklärbarkeit des Gates in der Kombination der einzelnen Experten eingehender untersucht werden.

41.6 billion IoT devices are expected by 2025. As a result, the amount of continuously generated data is growing rapidly. Traditional machine learning methods that are trained on static data sets and are not able to continuously adapt to dynamic environments. The problem here is concept drift, which leads to models losing accuracy over time. In order to make continuous learning more robust and accurate, this paper presents a novel approach based on the findings of a systematic literature review. This approach combines Online Machine Learning (OML) with Mixture of Experts (MoE) in a novel incremental MoE architecture. To evaluate this hybrid architecture, various regression and classification experiments are presented and evaluated using appropriate methods. This paper presents the implementation of the framework riverMoE, which realizes the designed hybrid architecture as an extension of an existing OML framework. The results of the experiments show that the targeted weighted combination of individual forecasts can also lead to more precise overall forecasts when using incremental learning algorithms. As expected the use of neural components requires increased computing and memory resources. Furthermore, the experiments in adaptive environments show a higher stability against concept drift which depends on the initialization. Based on the results, it is recommended to extend the existing implemented MoE variants and to conduct further experiments. In addition, the explainability of the gate in the combination of the individual experts should be examined in more detail.