Explainable Artificial Intelligence in der Dokumentenklassifikation

Abstract

Künstliche Intelligenz erlangt immer größere Wichtigkeit in verschiedensten Bereichen unseres Lebens. Gerade im Bereich der Texterkennung haben sich in den vergangenen Jahren zahlreiche neue Entwicklungen ergeben. Durch Künstliche Neuronale Netze konnten große Fortschritte erzielt werden. Ziel dieser Arbeit sollte es sein, die CNN Modellen InceptionV3 und VGG 16 mit dem DocILE-Datensatz zu trainieren und mit Hilfe von Explainable AI (XAI) die Entscheidungsfindung der Dokumentenklassifikation näher zu verstehen. Hierfür wurden die verschiedene XAI-Methoden (Grad-CAM, Integrated Gradient sowie die Layerwise Relevante Propagation (LRP) genutzt. Für beide Modelle konnte eine gute Klassifikation der Dokumente insbesondere für solche verzeichnet werden, die häufig im Datensatz vorkamen. Für im Datensatz unterrepräsentiere Dokumentenklassen konnten schlechtere Ergebnisse verzeichnet werden. Dies spiegelte sich ebenfalls in den XAI-Untersuchungen wider. Somit kann für diese Arbeit konkludiert werden, dass die Aussagekraft eines Modells vor allem für die Aspekte als sinnvoll betrachtet werden kann, mit dem das Modell viel trainiert wird. Um also eine sinnvolle Dokumentenklassifikation zu erhalten, sollte ein Trainingsdatensatz ausreichend balanciert sein. Inhalt weiterer Forschung könnte sein, wie auch mit nur begrenzt vorliegenden Trainings-datensätzen bessere Auswahlkriterien erstellt werden können, um Modelle mit weniger Trainingsdaten effektiver trainieren zu können.

Artificial intelligence is becoming increasingly important in various areas of our lives. Numerous new developments have emerged in recent years, particularly in the field of text recognition. Artificial neural networks have enabled great progress to be made. The aim of this work was to train the CNN models InceptionV3 and VGG 16 with the DocILE dataset and to better understand the decision-making process of document classification with the help of Explainable AI (XAI). The various XAI methods (Grad-CAM, Integrated Gradient and Layerwise Relevant Propagation (LRP)) were used for this purpose. For both models, a good classification of the documents was recorded, especially for those that occurred frequently in the data set. Poorer results were recorded for document classes that were underrepresented in the data set. This was also reflected in the XAI studies. It can therefore be concluded for this work that the informative value of a model can be considered meaningful primarily for those aspects with which the model is trained a lot. In order to obtain a meaningful document classification, a training data set should be sufficiently balanced. Further research could focus on how better selection criteria can be created even with limited training data sets in order to train models more effectively with less training data.)