Hyperparameter Optimization for Deep Neural Networks using Reinforcement Learning

Abstract

In dieser Arbeit wird ein Ansatz einer Partikelschwarmoptimierung mit unterliegendem Q-learning (QLPSO) für die Hyperparameteroptimierung von Machine-Learning Modellen implementiert und ausgewertet. QLPSO verwendet Reinforcement Learning um die zugrundeliegenden Optimierungsparameter des Partikelschwarmoptimierers während des Suchprozesses dynamisch anzupassen. Dieser Ansatz wird über das Ray Tune framework implementiert und mit etablierten Optimierunsmethoden verglichen. Dafür werden drei verschiedene Experimente durchgeführt: ein tiefes neuronales Netwerk für die Prognose von Stromverbrauch, eine Support-Vektor-Maschine für Klassifizierung des MNISTDatensatzes und zwei mathematische Testfunktionen mit variierender Dimensionalität und unterschiedlicher Topologie. Der QLPSO Ansatz weist konkurrenzfähige Leistungen für die Optimierung des tiefen neuronalen Netzwerkes und bei niederdimensionalen Tesfunktionen auf, aber zeigt Schwierigkeiten bei der Optimierung der Support-Vektor- Maschine und hochdimensionalen Problemen auf. In dieser Arbeit werden die Grenzen der ursprünglichen QLPSO-Implementierung aufgezeigt und mögliche Verbesserungen für die zukünftige Forschung vorgeschlagen.

This thesis implements and evaluates a Q-learning-based particle swarm optimization (QLPSO) approach for hyperparameter optimization (HPO) of machine learning (ML) models. QLPSO uses reinforcement learning (RL) to dynamically adjust optimization parameters of the underlying particle swarm optimization (PSO) algorithm during the search process. This approach is implemented in the Ray Tune framework and benchmarked against established methods. Experiments span three problem domains: a deep neural network model for electricity consumption forecasting, support vector machine (SVM) classification on the MNIST dataset, and two mathematical test functions with varying dimensionality and distinct topology. The QLPSO approach displays competitive results for the deep neural network optimization and in lower-dimensional test functions, but struggles with the SVM task and high-dimensional problems. The thesis identifies limitations in the original QLPSO implementation and proposes potential improvements for future research.