Optimierung rekurrenter neuronaler Netze durch genetische Algorithmen derNEAT-Familie

Abstract

In dieser Arbeit wird die Eignung verschiedener Genetischer Algorithmen der NEAT-Familie für die Optimierung rekurrenter neuronaler Netze untersucht. Dabei werden konkret klassisches NEAT und ES-HyperNEAT in Augenschein genommen. Beide GAs werden mit verschiedenen RNN-Architekturen kombiniert. Konkret werden Long Short-Term Memory und Gated Recurrent Units with Memory Block verwendet. Es werden drei Untersuchungen mit verschiedenen Komplexitätsgraden und Ansprüche an das Erinnerungsvermögen der Agenten durchgeführt, die zeigen, dass GAs sich grundsätzlich gut zum Optimieren von RNNs eignen.

This paper tests how suited different Genetic Algorithms from the NEAT-family of GAs are to optimize recurrent artificial neural networks. Specifically this paper looks at classic NEAT and ES-HyperNEAT. Both GAs are combined with different RNN architectures - specifically Long Short-Term Memory and Gated Recurrent Units with Memory Block - and subjected to three tests of varying complexities and demands on the memory of the agents. It can be shown that GAs are able to optimize RNN reasonably well.