Analogie zwischen Clustern und Äquivalenzklassen im Kontext des Testens von Textklassifikation

Abstract

Die Qualitätssicherung von KI-basierten Systemen stellt eine große Herausforderung dar. Traditionelle Testmethoden, die für deterministische Systeme entwickelt wurden, stoßen bei KI-basierten Systemen an ihre Grenzen, da diese probabilistisch agieren und ihr Verhalten mit Hilfe von Daten erlernen. Ziel dieser Arbeit ist es zu untersuchen, ob die Äquivalenzklassenbildung und die Grenzwertanalyse zur Validierung KI-basierter Systeme im Kontext der Textklassifikation eingesetzt werden können. Es wird untersucht, ob Cluster, die mit Hilfe von Top2Vec gebildet wurden, als Äquivalenzklassen betrachtet werden können. Die Clustergrenzen dienen dabei als Grundlage für eine Grenzwertanalyse, um potenziell herausfordernde Textdokumente im Vorfeld zu identifizieren. Zudem entspricht der thematische Schwerpunkt eines Clusters der Ausgabe einer Äquivalenzklasse. Anschließend wird eine Textklassifikation mit einem BERT-Klassifikator durchgeführt, um abzugleichen, ob die zuvor identifizierten Dokumente tatsächlich falsch oder unsicher klassifiziert wurden. Die Ergebnisse zeigen, dass einige der als herausfordernd eingestuften Dokumente tatsächlich falsch oder unsicher klassifiziert wurden. Dennoch gab es Herausforderungen bei der Clusterbildung, da unscharfe Grenzen sowie thematische Überschneidungen im Datensatz dazu geführt haben, dass Cluster nicht ausreichend homogen gewesen sind und dadurch nicht eindeutig als Äquivalenzklassen betrachtet werden konnten.

The quality assurance of AI-based systems poses a major challenge. Traditional test methods developed for deterministic systems reach their limits with AI-based systems, as these act probabilistically and learn their behaviour with the help of data. The aim of this thesis is to investigate whether equivalence class formation and boundary value analysis can be used to validate AI-based systems in the context of text classification. It is investigated whether clusters formed with the help of Top2Vec can be regarded as equivalence classes. The cluster boundaries serve as the basis for a threshold analysis in order to identify potentially challenging text documents in advance. In addition, the thematic focus of a cluster corresponds to the output of an equivalence class. A text classification is then carried out using a BERT classifier to compare whether the previously identified documents were actually classified incorrectly or uncertainly. The results show that some of the documents categorised as challenging were indeed classified incorrectly or uncertainly. Nevertheless, there were challenges in clustering, as fuzzy boundaries and thematic overlaps in the data set meant that clusters were not sufficiently homogeneous and therefore could not be clearly considered as equivalence classes.