Softwaretesten unter Berücksichtigung von nichtdeterministischen Verhalten

Abstract

Diese Arbeit untersucht die Hypothese: „Softwarezustände welche durch nichtdeterministische Effekte wie z. B. Eingabe/Ausgabe oder Nebenläufigkeit erreicht werden, werden nicht ausreichend getestet.“ Dabei wurde sich auf den Aspekt der Fehlerbehandlung fokussiert. Für diesen Aspekt ließ sich die Hypothese anhand von Testabdeckungsmetriken verifizieren. Um diese Metriken zu erfassen wurden eigene neuartige Werkzeuge entwickelt, die es möglich machen, sowohl Fehlerbehandlung als auch fehlende Fehlerbehandlung in C-Programmen zu lokalisieren. Zusätzlich wurden Werkzeuge entwickelt um diese mit Testabdeckungsmetriken zu verknüpfen. Nachdem die Hypothese belegt wurde, wurde nach Lösungsansätzen gesucht und der Stand der Technik wurde zwischen Forschung und Praxis verglichen. Ein effektives Verfahren zum automatisierten Testen von Fehlerbehandlung wurde in beiden Bereichen gefunden und eine Anwendung dieser Techniken im Allgemeinfall diskutiert.

This thesis examines the hypothesis: „Software states which are achieved by nondeterministic effects such as input/output or concurrency are not sufficiently tested.“ The focus was on the aspect of error handling. For this aspect, the hypothesis was verified using test coverage metrics. In order to capture these metrics, novel tools were developed that make it possible to localize error handling, as well as missing error handling, in C programs. In addition, tools were developed to relate these to test coverage metrics. Once the hypothesis was proven, solutions were sought and the state of the art was compared between research and practice. An effective method for automated testing of error handling was found in both areas and an application of these techniques in the general case was discussed.