Evaluierung KI-gestützter Code Review Tools am Beispiel der Entwicklung einer Alkohol Tracking App

Abstract

Diese Arbeit untersucht den Einsatz von KI-gestützen Code Review Tools anhand der Entwicklung einer Alkohol Tracking App. Die App wurde mit React Native und Supabase umgesetzt und dient als realistische Codebasis, anhand derer die Tools Shippie, Copilot und CodeRabbit evaluiert werden. Die Analyse kombiniert quantitative Metriken wie Precision, Recall und F1-Score mit qualitativen Bewertung der Nützlichkeit und Verständlichkeit der generierten Vorschläge. Ergänzend wurde ein Experiment durchgeführt, bei dem gezielt Fehler in die Codebasis eingeführt wurden. Die Ergebnisse zeigen, dass die Tools den Code Review Prozess sinnvoll ergänzen können, jedoch menschliche Expertise nicht vollständig ersetzten.

This thesis examines the use of AI-assisted code review tools based on the development of an alcohol tracking app. The app was built using React Native and Supabase and serves as a realistic codebase for evaluating the tools Shippie, Copilot, and CodeRabbit. The analysis combines quantitative metrics such as precision, recall, and F1-score with a qualitative assessment of the usefulness and clarity of the generated suggestions. Additionally, an experiment was conducted in which errors were intentionally introduced into the codebase. The results show that these tools can meaningfully complement the code review process but cannot fully replace human expertise.