VERIFAI Evaluating the Responsibility of AI-Systems

Abstract

The rapid progress and extensive integration of artificial intelligence (AI) systems across diverse sectors have heightened concerns regarding their security, explainability, privacy, and ethics. Moreover, AI is becoming increasingly ingrained in daily life, leading to discussions about the responsibility of AI-technologies. Ensuring Responsible AI (RAI) practices is crucial to maintain trust in these systems and mitigating potential negative consequences. In response to the growing demand for RAI, this thesis presents a novel approach to assessing Responsible AI by combining insights from a systematic literature review with a practical evaluation framework. The thesis provides a concise overview of the key aspects of Responsible AI and highlights the findings from the literature review. Furthermore, the thesis introduces a set of evaluation metrics specifically designed for the current state of the art, using different model types and data from the healthcare domain. The framework supports the evaluation of natural language processing, computer vision, and tabular data models for classification tasks. Additionally, the thesis extensively demonstrates VERIFAI, an implementation of the framework, which serves as a comprehensive tool for assessing the responsibility of AI systems. The overall objective of this research is to make a meaningful contribution to the Responsible AI discourse, providing researchers and practitioners with a valuable resource to enhance the overall responsibility of their AI systems. The thesis concludes by discussing future directions to enhance and further extend the framework.

Der rasche Fortschritt und die umfassende Integration von Systemen der künstlichen Intelligenz (KI) in verschiedenen Sektoren haben die Bedenken hinsichtlich ihrer Sicherheit, Erklärbarkeit, ihres Datenschutzes und Ethik verstärkt. Darüber hinaus wird die KI immer stärker in das tägliche Leben integriert, was zu Diskussionen über die Verantwortung von KI-Technologien führt. Die Gewährleistung verantwortungsvoller KI-Praktiken (Responsible AI, RAI) ist von entscheidender Bedeutung, um das Vertrauen in diese Systeme aufrechtzuerhalten und mögliche negative Folgen abzumildern. Als Reaktion auf die wachsende Nachfrage nach RAI wird in dieser Arbeit ein neuartiger Ansatz zur Bewertung verantwortungsvoller KI vorgestellt, der Erkenntnisse aus einer systematischen Literaturrecherche mit einem praktischen Framework kombiniert. Die Arbeit gibt einen Überblick über die Schlüsselaspekte von RAI und hebt die Ergebnisse der Literaturrecherche hervor. Darüber hinaus stellt die Arbeit eine Reihe von Bewertungsmetriken vor, die speziell für den aktuellen Stand der Technik entwickelt wurden, wobei verschiedene Modelltypen, die mit Daten aus dem Gesundheitsbereich trainiert wurden, verwendet werden. Das Framework unterstützt die Evaluierung von Modellen zur Verarbeitung natürlicher Sprache, Bildverabeitung und tabellarische Modelle für Klassifizierungsaufgaben. Darüber hinaus wird in dieser Arbeit VERIFAI, eine Implementierung des Frameworks, demonstriert, das als umfassendes Werkzeug zur Bewertung verantwortungsvoller KISysteme dient. Das übergeordnete Ziel dieser Arbeit ist es, einen sinnvollen Beitrag zum Diskurs über verantwortungsvolle KI zu leisten, indem Forschern und Praktikern eine wertvolle Ressource zur Verfügung gestellt wird, um ihre KI-Systeme zu verbessern. Die Arbeit schließt mit einem Ausblick auf zukünftige Entwicklungen, um das Framework zu verbessern und weiter auszubauen.