Textbasierte Emotionserkennung durch neuronale Netze

Abstract

In der Bachelorarbeit werden verschiedene Architekturen neuronaler Netze untersucht, um Emotionen aus Texten zu erkennen, was ein Teil der natürlichen Sprachverarbeitung ist. Ziel ist es, das leistungsfähigste Netz zu finden und zu überprüfen, ob es Texte gemäß der bedeutungsvollen Wörtern klassifiziert. LSTM-, CNN-, LSTM-CNN-, CNN-LSTM- und Ensemble-Modelle werden anhand des englischsprachigen GoEmotions-Datensatzes trainiert und verglichen. Für jeden Modelltyp werden drei verschiedene Worteinbettungen untersucht, nämlich GloVe-Tweets, GloVe-6B und Word2Vec. Darüber hinaus werden die Einflüsse der Anzahl der LSTMUnits und einer Spatial-Dropout-Schicht auf die Modelle untersucht. Das beste Modell ist das LSTM-CNN-Modell mit der GloVe-Tweets-Worteinbettung, das eine Genauigkeit von 62,61% und einen F1-Score von 57,14% aufweist. Die Klassifizierungen des LSTM-CNN-Modells werden mit LIME erklärt. Nicht alle Wörtern, die zur Klassifizierung führen, sind sinnvoll. Darüber hinaus haben die anderen Modelle mit der Word2Vec-Worteinbettung die beste Leistung erzielt. Die Verwendung einer Spatial-Dropout-Schicht verbessert die Leistung des CNN-Modells. Allerdings verbessert es nicht immer die Leistungen anderer Modelle. Es zeigt sich zudem, dass eine Verdoppelung der LSTM-Units keine bessere Leistung garantiert.

This bachelor thesis deals with the recognition of emotions from texts using different architectures of neural networks. Emotion recognition belongs to a subfield of natural language processing. The goal is to find the best performing network and verify that it classifies texts according to meaningful words. LSTM, CNN, LSTM-CNN, CNN-LSTM and Ensemble models are used and compared using the English dataset GoEmotions. For each model type, three different word embeddings are exprimented, namely GloVe-Tweets, GloVe-6B, and Word2Vec. In addition, the influences of the number of LSTM units and a spatial dropout layer on the models are researched. The best model is LSTM-CNN model with the GloVe-Tweets word embedding, which has an accuracy of 62.61% and a F1 score of 57.14%. The classifications of the LSTM-CNN model are explained using LIME. Not all words leading to the classification are meaningful. In addition, the other models with Word2Vec word embedding have achieved the best performance. Moreover, using a spatial dropout layer improves the performance of CNN model. However, it does not always improve the performance of the other models. It also shows that doubling the LSTM units doesn’t guarantee better performance.