Unsicherheitsquantifizierung von Large Language Models bei der Automatisierung und Steuerung interaktiver Webprozesse

Abstract

Die Arbeit untersucht die Unsicherheitsquantifizierung von Large Language Models (LLMs) bei der Automatisierung und Steuerung von interaktiven Webprozessen. Ziel ist es, zu analysieren, wie zuverlässig Sprachmodelle bei der Planung und Ausführung von Aktionen in einer webbasierten Prozessmanagementanwendung arbeiten und ob sich die Unsicherheit währenddessen messbar machen lässt. Hierzu wurde am Beispiel der Anwendung TSC-Online ein System entwickelt, welches Nutzereingaben in strukturierte Aktionssequenzen übersetzt und diese automatisiert im Browser ausführt. Dazu wurden drei Ansätze zur Unsicherheitsbewertung evaluiert: tokenwahrscheinlichkeitsbasierte Metriken, verbalisierte Selbstangaben der eigenen Antwortkonfidenz sowie ein konsistenzbasiertes Verfahren, das mehrere generierte Antworten auf semantische Ähnlichkeit überprüft. Die Evaluation erfolgte anhand realistischer Interaktionsszenarien mit Referenzlösungen. Die Ergebnisse zeigen, dass alle untersuchten Metriken grundsätzlich zur Erkennung von Modellunsicherheit geeignet sind. Am zuverlässigsten erwies sich jedoch die konsistenzbasierte Metrik. Insgesamt leistet die Arbeit einen Beitrag zur sicheren Nutzung von LLMs in produktiven, praxisnahen Anwendungsprozessen und KI-Systemen.

This thesis investigates the uncertainty quantification of large language models (LLMs) in the automation and control of interactive web processes. The aim is to analyze how reliably LLMs perform when planning and executing actions in a web-based process management application, and whether their uncertainty can be measured during this process. Using TSC-Online as an example application, a system was developed that translates user inputs into structured action sequences and executes them automatically in the browser. To this end, three approaches to uncertainty assessment were evaluated: token-probability-based metrics, verbalized self-reports of response confidence, and a consistency-based method that checks multiple generated responses for semantic similarity. The evaluation was conducted using realistic interaction scenarios with reference solutions. The results show that all investigated metrics are generally suitable for detecting model uncertainty. However, the consistencybased metric proved to be the most reliable. Overall, the thesis contributes to the safe use of LLMs in productive, practice-oriented application processes and AI systems.