Entwicklung einer Qualitätsmetrik für Interpretationen von neuronalen Netzen

Abstract

Der Forschungsbereich der künstlichen Intelligenz hat in den letzten Jahren große Fortschritte gemacht, insbesondere im Bereich der neuronalen Netze. Der Einsatz von neuronalen Netzen in sicherheitskritischen Anwendungsbereichen birgt dennoch einige Risiken, da neuronale Netze Black Box Systeme sind. Das bedeutet, dass zum jetzigen Zeitpunkt weder das gelernte Wissen noch die Entscheidungsgrundlagen von neuronalen Netzen verstanden werden. Der Forschungsbereich der erklärbaren künstlichen Intelligenz versucht, dieses Problem durch die Entwicklung von Interpretationsmethoden für neuronale Netze zu lösen. Doch obwohl auch hier große Fortschritte erzielt wurden, bleiben sowohl das gelernte Wissen von neuronalen Netzen als auch dessen Entscheidungsgrundlagen größtenteils unbekannt. Besonders vorangetrieben wurde die Entwicklung besserer Interpretationsmethoden durch bessere Regularisierungsmethoden. Leider gibt es in der wissenschaftlichen Gemeinschaft noch keinen genauen Konsens darüber, was Regularisierungsmethoden genau leisten sollen. In dieser Arbeit werden die Anforderungen an Regularisierungsmethoden für Interpretationen von neuronalen Netzen definiert und eine Metrik entwickelt, mit der die Qualität einer Interpretation gemessen werden kann. Mithilfe dieser Qualitätsmetrik können Interpretationsmethode für neuronale Netze erstmals automatisiert verbessert werden. Dies wird experimentell bewiesen, indem Interpretationsmethoden für zwei unterschiedlich komplexe Netze mithilfe der Bayesschen Optimierung und evolutionärer Algorithmen optimiert werden. Die hierdurch entwickelten Interpretationsmethoden liefern vor allem auf den tiefen und schwer zu interpretierenden Schichten der neuronalen Netze gute und für Menschen verständliche Ergebnisse.

The research field of artificial intelligence has made great progress in recent years, especially in the area of neural networks. The use of neural networks in safety-critical application areas nevertheless involves some risks since neural networks are black box systems. This means that at this point in time, neither the learned knowledge nor the decisionmaking basis of neural networks is understood. The research area of explainable artificial intelligence is trying to solve this problem by developing interpretation methods for neural networks. However, although much progress has been made in this area as well, both the learned knowledge of neural networks and its basis for decision making remain largely unknown. In particular, the development of better interpretation methods has been driven by better regularization methods. Unfortunately there is not yet a precise consensus in the scientific community on exactly what regularization methods should do. This paper defines the requirements for regularization methods for neural network interpretation and develops a metric that can be used to measure the quality of an interpretation. With the help of this quality metric, interpretation methods for neural networks can be improved automatically for the first time. This is experimentally proven by optimizing interpretation methods for two differently complex networks using Bayesian optimization and evolutionary algorithms. The interpretation methods developed in this way deliver good results that are understandable for humans, even at the deep layers of the neural networks which are difficult to interpret.