Do tests really enable change? On the relationship between unit test coverage and maintainablity of production code

Abstract

Softwarequalität und insbesondere der Aspekt der Wartbarkeit bestimmen zunehmend über den langfristigen Erfolg von Softwareprojekten. Refactoring dient der Verbesserung der Wartbarkeit und wird durch eine hohe Testabdeckung unterstützt. Es wird daher allgemein angenommen, dass ein Zusammenhang zwischen Testabdeckung und Wartbarkeit besteht. Dieser Zusammenhang wurde in der vorliegenden Studie für 45 Java-basierte Open-Source-Projekte auf Basis von Metriken und Code Smells statistisch untersucht. Als Ergebnis wurde eine Vielzahl positiver Zusammenhänge mit hoher statistischer Signifikanz nachgewiesen. Dies könnte ein Hinweis sein, dass Entwickler den Testaufwand für schwer wartbaren Code erhöhen. Negative Zusammenhänge als Hinweis auf positive Auswirkungen einer hohen Testabdeckung auf die Wartbarkeit wurden hingegen nur für einzelne Projekte gefunden.

Software quality and especially the aspect of maintainability increasingly determine the long-term success of software projects. Refactoring serves to improve maintainability and is supported by high test coverage. It is therefore generally assumed that there is a correlation between test coverage and maintainability. This correlation was statistically examined in the present survey for 45 Java-based open source projects on the basis of metrics and code smells. As a result, a large number of positive correlations with high statistical significance were found. This could be an indication that developers are increasing test effort for code that is diffcult to maintain. Negative correlations indicating positive effects of high test coverage on maintainability, on the other hand, were only found for individual projects.