Evolutionäre Optimierung von Deep Neural Networks - Victoria Bibaeva (2017)
Faltungsnetze sind eine beliebte Klasse der neuronalen Netzwerke im Bereich Deep Learning mit einer speziellen Architektur, die ihre hervorragende Leistung in vielen Einsatzgebieten wie Bilderkennung, Spracherkennung usw. begründet. Die Architektur der Faltungsnetze verfügt über viele (Hyper-)Parameter, die auf ihre Erkennungsgenauigkeit Einfluss nehmen. Trotz des enormen wissenschaftlichen Interesses an Faltungsnetzen erfolgt die Suche nach guten Hyperparameterwerten meist manuell, was extrem viel Zeit beansprucht und mit dem Risiko verbunden ist, einige erfolgsversprechende Werte zu übersehen. Gegenstand dieser Arbeit ist das Entwerfen von Algorithmen zur automatisierten Hyperparametersuche für Faltungsnetz-architekturen. Anhand des bestehenden Wissens über die Faltungsnetze sollen sie durch eine geschickte Suchstrategie in relativ kurzer Zeit einige sehr gute Parameterwerte liefern. Es werden drei solcher Algorithmen basierend auf bekannten Metaheuristiken wie Evolutionäre Optimierung und Lokale Suche präsentiert, entsprechend dem Anwendungsfall implementiert und miteinander verglichen. Anhand verschiedener Datasets wird ermittelt, welcher Algorithmus unter welchen Bedingungen zu den besten Faltungsnetzarchitekturen führt.
Keywords: Deep Learning; Faltungsnetze; Optimierung der Hyperparameter; Evolutionäre Algorithmen