Responsible AI for Clustering Algorithms

Abstract

Verantwortungsvolle AI (RAI) ist ein Thema, das immer wichtiger wird. Um RAI zu entwickeln, ist es notwendig, dass es eine allgemeine Maÿeinheit gibt, um den Grad der Verantwortung zu bewerten. Diese Thesis erweitert das Bewertungs-Framework, das in [16] eingeführt wurde. Es kombiniert verschiedene Metriken, die die Umsetzung der verschiedenen Aspekte von RAI messen, um Klassiffikations-Modelle zu bewerten. Diese Arbeit bearbeitet die Bewertung von Clusterings. Dazu wird eine Literaturübersicht über die existierenden Metriken erstellt, die die Fairness (beinhaltet Performance, Individuelle und Gruppen Fairness), den Datenschutz, die Sicherheit und die Erklärbarkeit messen. Es werden auch neue Ansätze vorgestellt. Dann werden einige Metriken ausgewählt, die jeweils genauer bearbeitet werden und zusammen ein leistungsstarkes Tool zur Bewertung der Verantwortung bilden. Die umfangreiche Bewertung durch diese Metriken wird anhand von fünf Modellen demonstriert. Die Ergebnisse zeigen, dass die Metriken passende Bewertungen geben, besonders, wenn sie in Kombination genutzt werden und somit ihre individuellen Schwachstellen ausgleichen. Insgesamt bietet die erarbeitete Erweiterung des Bewertungs-Frameworks RAI Forschern und Entwicklern eine gemeinsame Lösung für die Beurteilung der Verantwortung von Clustering-Modellen. Dies ermöglicht unter anderem das Nachvollziehen einer Verbesserung eines Modells durch Anpassungen und das Vergleichen mehrerer Modelle. Das macht diese Arbeit zu einem wichtigen Beitrag zur künftigen Entwicklung und Forschung von RAI.

Responsible AI (RAI) is a topic of increasing importance. The ambition to create RAI leads to the need for a common measurement of the level of responsibility. This thesis extends the solution presented in [16], which combines metrics covering the aspects of RAI in an evaluation framework to evaluate classiffication tasks. In this thesis, the evaluation of clustering tasks is researched and integrated into this framework. To achieve this, the available literature for metrics for the evaluation of fairness (including performance, individual fairness, and group fairness), privacy, security, and explainability is analyzed and enhanced with new approaches. A set of these metrics is selected and implemented, forming a powerful evaluation tool for responsibility. The extensive assessment using this set is demonstrated on five different clustering models. The calculated scores validate the efficiency, especially through the combination of metrics to compensate individual limitations. Altogether, the developed extension of the evaluation framework provides RAI researchers and developers with a common solution for the assessment of the responsibility of a clustering tasks. It can be used for many purposes, such as verifying the enhancement of a model after its manipulation or comparing multiple models. As such, it is an important contribution to the further development and research of Responsible AI.