Evaluierung von spezialisierten und generischen Modellen zur Identifikation von städtischen Einzelbäumen mittels Transfer Learning

Abstract

Die anhaltende Urbanisierung und der Klimawandel erhöhen die Dringlichkeit, eine zuverlässige und funktionsfähige Methode zur Überwachung und Pflege urbaner Wäldern zu entwickeln. Eine präzise automatisierte Möglichkeit der Segmentierung von Baumkronen wird immer wichtiger, um diese Ziele zu erreichen. Diese Arbeit untersucht die Leistungsfähigkeit generischer, leicht zugänglicher, Modelle (Segment Anything Model (SAM)) und deren Anpassung an spezifische Domänen, wie die Erkennung von Baumkronen in urbanen Wäldern. Zur Bewertung der Leistungsfähigkeit wird ein auf diese Domäne spezialisiertes Modell (DeepForest (DF)) mit einem fein abgestimmten generischen Modell verglichen. SAM wurde mithilfe von Transfer Learning auf die Segmentierung von Baumkronen in urbanen Wäldern auf RGB-Satellitenbildern fein abgestimmt und anschließend in verschiedenen Schwierigkeitskategorien sowie in unterschiedlichen Floren DF gegenübergestellt. Hierfür wurden Experimente in verschiedenen Großstädten weltweit durchgeführt, um die Generalisierbarkeit der Modelle zu evaluieren. Die Ergebnisse zeigen, dass das feinabgestimmte SAM in vielen Fällen vergleichbare oder sogar bessere Ergebnisse als das spezialisierte DF erzielte. Diese Arbeit trägt zur Bewertung der Leistungsfähigkeit von Basismodellen und deren Einsatzmöglichkeiten in der Fernerkundung bei. Die gewonnenen Erkenntnisse unterstützen Stadtplaner und Umweltbehörden bei der automatisierten Überwachung und Pflege städtischer Grünflächen, was wiederum den Zielen der nachhaltigen Stadtentwicklung entspricht.

Ongoing urbanisation and climate change increase the urgency to develop a reliable and functional method for monitoring and maintaining urban forests. A precise automated canopy segmentation capability is becoming increasingly important to achieve these goals. This thesis investigates the performance of generic, easily accessible, models (Segment Anything Model (SAM)) and their adaptation to specific domains, such as tree canopy detection in urban forests. To evaluate the performance, a model specialised for this domain (DeepForest (DF)) is compared with a finely tuned generic model. SAM was fine-tuned using transfer learning on the segmentation of tree crowns in urban forests on RGB satellite images and then compared to DF in different difficulty categories and in different floras. For this purpose, experiments were conducted in various large cities worldwide to evaluate the generalisability of the models. The results show that in many cases the fine-tuned SAM achieved comparable or even better results than the specialised DF. This work contributes to the evaluation of the performance of base models and their possible applications in remote sensing. The knowledge gained supports urban planners and environmental authorities in the automated monitoring and maintenance of urban green spaces, which in turn corresponds to the goals of sustainable urban development.