Fusion von Kamera- und Punktwolkendaten in Simulation und Realwelt

Abstract

Diese Arbeit thematisiert die Fusion von Kameradaten und 3D-Punktwolkendaten, indem den einzelnen 3D-Punkten in einer Punktwolke Farben basierend auf den Kameradaten zugeordnet werden. Mithilfe der intrinsischen und extrinsischen Parameter der Kamera werden die einzelnen 3D-Punkte der Punktwolke in das Kamerabild zurück projiziert, wodurch dann eine Farbe für den jeweiligen 3D-Punkt aus dem Kamerabild abgelesen wird. In dieser Arbeit wurde ein Toolset unter ROS entwickelt, welches diesen Vorgang implementiert. Im Rahmen dessen wurde unter anderem eine Simulation in der Unity3DEngine erstellt, die jeweils mehrere Kameras und einen Lidar simuliert. Das Toolset wurde jeweils auf die Simulation und Echtweltgeräte angewendet und die Ergebnisse evaluiert.

This work addresses the fusion of camera data with a 3D point cloud by assigning colors to the individual 3D points in the point cloud based on the camera data. With the intrinsic and extrinsic properties of the camera known, individual 3D points of the point cloud can be re-projected onto the image, which makes it possible to read a color from that image that is associated with that particular 3D point. In this work a ROS toolset was developed that implements this procedure as well as a Unity3D project that can simulate multiple cameras and a lidar. Subsequently, the toolset was applied to the simulation and real world devices and the results evaluated.