Untersuchung von Lösungen mit maschinellem Lernen für die Tiefenbestimmung mit Stereobilddaten unter umweltbedingten Störungen

Abstract

Das Ziel dieser Arbeit ist, die Eignung von neuronalen Netzen für die Tiefenbestimmung mit Stereobildern unter dem Einfluss von Störungen zu untersuchen. Der Fokus wird dabei auf die Störung durch Regentropfen, Nebel und die Verdeckung durch Objekte wie Blätter oder Eis gelegt. Zu diesem Zweck wird eine ausgewählte allgemeine Netzwerkarchitektur für Stereokorrespondenz mit verschiedenen Datensätzen echter und synthetischer Daten trainiert. Es werden handelsübliche Stereokameras für die Aufnahme von Trainingsdaten und passenden Testszenarien für die Evaluierung genutzt. Durch die Entwicklung verschiedener Methoden zur Augmentation von existieren Daten mit diesen Störeffekten wird die Menge der für das Training geeigneten Datensätze vergrößert. Die Evaluierung zeigt, dass die Disparitäten für Bildbereiche, die durch Regentropfen und Verdeckungen kleiner bis mittlerer Größe beeinflusst sind, zuverlässig bestimmt werden können. Im Vergleich mit den verwendeten Stereokameras ist ein deutlicher Vorteil der Netzwerke festzustellen. Für Bedingungen mit dichtem Nebel führt der große Anteil gleichfarbiger Bildinformationen zu hohem Detailverlust in den Schätzungen. Das Training mit einem synthetischen Datensatz resultiert dabei in vielversprechenden, aber noch unzureichenden Ergebnissen.

This work aims to investigate the suitability of neural networks for depth estimation using stereo images in the presence of various disturbances. The primary focus will be on perturbations caused by raindrops, fog, and occlusion by objects such as leaves or ice. A selected neural network architecture designed for stereo correspondence will serve as the foundation for training using various datasets, comprising both real-world and synthetic data. Commercially available stereo cameras will be utilized to capture training data, along with suitable test scenarios for evaluation. By developing various methods to augment existing data with disturbances, the set of datasets suitable for training is expanded. The evaluation reveals that the disparities in image areas affected by raindrops and small to medium-sized occlusions can be reliably determined. In comparison to the stereo cameras used, the networks exhibit a clear advantage. However, in conditions of dense fog, the extensive amount of similarly colored image information leads to a significant loss of detail in the estimates. Although training with a synthetic dataset yields promising results, they still remain insufficient.