Automatische Generierung von Issues aus Testreports

Abstract

Am Ende eines automatisierten Testdurchlaufs steht ein Report. Dieser enthält Informationen über erfolgreiche und fehlgeschlagene Tests. Letztere sind für den Entwickler relevant, weil sie Hinweise auf mangelhaften oder nicht funktionierenden Code liefern. Im Entwicklungsprozess wird für die Bearbeitung eines fehlgeschlagenen Tests ein sogenanntes Issue in einem Issue-Tracker, wie zum Beispiel dem Tracker der zu GitLab gehört, erstellt. Das Erstellen der Issues bedeutet Aufwand für die Person, die den Issue formulieren muss. In dieser Arbeit wird gezeigt, wie aus einem Testreport automatisch Issues in einem Issue-Tracker erstellt werden können. Es wird dabei auf den Umgang mit Duplikaten, irrelevant gewordenen Issues und das Zusammenfassen von ähnlichen Fehlermeldungen eingegangen. Das können Fehlermeldungen sein, deren beschriebene Fehler nahe (im Code) bei einander liegen oder den selben Fehler bezogen auf andere Abschnitte melden. Das Programm, welches im Rahmen dieser Arbeit entwickelt wird, kann verschiedene Reports in Issues verwandeln und wird in eine Pipeline integriert. Die Funktionalität wird zum einen mit einem Testreport einer statischen Codeanalyse, zum anderen mit einem Testreport eines Regressionstest geprüft.

At the end of an automated test run there is a report. This report contains information about successful and failed tests. The latter are relevant for the developer because they provide information about defective or non-functionioning In the development process, an issue is created in an issue tracker, such as the tracker belonging to GitLab, to process a failed test. Creating the issues means effort for the person who has to formulate the issue. This paper shows how to automatically create issues from a test report in an issue tracker. It deals with the handling of duplicates, issues that have become irrelevant and the summary of similar error messages. These can be error messages whose described errors are close (in code) to each other or report the same error related to other sections. The program developed as part of this work can convert various reports into issues and is integrated into a pipeline. The functionality is tested on the one hand with a test report of a static code analysis, on the other hand with a test report of a regression test.