Neuronale Tiefenbildrekonstruktion anhand von Stereobildpaaren

Abstract

Tiefeninformationen aus Bildern zu ermitteln ist für den Menschen eine einfache und unterbewusste Aufgabe. Mit seinen Augen und seinen Erfahrungen erhält er einen räumlichen Eindruck von Bildern. Im Bereich des Computer Visions wurde die Aufgabe der Tiefenbildgenerierung aus Stereobildpaaren traditionell mit rein mathematischen Modellen und Algorithmen gelöst. Durch die Entwicklung neuronaler Netze ergeben sich neue Lösungsmöglichkeiten, die an das menschliche Sehen angelehnt sind. Neuronale Netze können trainiert und so Erfahrungen generiert werden. Diese Erfahrungen können für die Extraktion von Tiefeninformationen nach dem Vorbild des Menschen genutzt werden. Aus diesen Tiefeninformationen können Tiefenbilder mit einem räumlichen Eindruck der Ausgangsbilder generiert werden. In den vergangenen Jahren wurden überwiegend Verfahren mit mehreren kombinierten neuronalen Netzen verwendet. In dieser Arbeit wird ein neuer Ansatz namens SS-CNN mit einem einzigen neuronalen Netz untersucht. Für die Untersuchung wird diese neue Architektur vorgestellt und eine Einordnung der erzielten Ergebnisse im Vergleich zu anderen Verfahren vorgenommen. Zusätzlich wird der Ein uss und die Möglichkeiten der Nachbearbeitung der Ergebnisse des neuronalen Netzes untersucht.

Determining depth information from images is a simple and subconscious task for humans. With his eyes and his experiences he gets a spatial impression of images. In the field of computer vision, the task of depth image generation from stereo image pairs is traditionally solved using purely mathematical models and algorithms. The development of neural networks opens up new solution possibilities that are based on human vision. Neural networks can be trained to generate experience. These experiences can be used to extract depth information along human lines. From this depth information, depth images with a spatial impression of the original images can be generated. In recent years, methods with multiple combined neural networks have been predominantly used. In this paper, a new approach called SS-CNN with a single neural network is investigated. For the investigation, this new architecture is presented and a classi cation of the obtained results in comparison to other methods is made. In addition, the influence and the possibilities of the post-processing is investigated.