Detecting Geometric Primitives in Depth Data from the Google ARCore Depth API

Abstract

Diese Arbeit stellt ein System vor, das geometrische Primitive in der Umgebung des Nutzers auf mobilen Geräten ohne spezialisierte Tiefensensor-Hardware erkennt. Das System nutzt Tiefendaten von der Google ARCore Depth API, um eine Punktwolke zu erstellen. Um die Punktwolkeninformationen effizient in Echtzeit zu speichern und zu aktualisieren, wird eine eigens entwickelte Octree-Implementierung verwendet. Primitive werden innerhalb der Punktwolke mithilfe der RANSAC-Implementierung von [SWK07] erkannt. Die resultierenden Parametrisierungen der Primitive werden verwendet, um Dreiecksnetze ihrer konvexen Hüllen zu erzeugen. Diese Netze werden schließlich gerendert und in Echtzeit auf das Kamerabild überlagert, sodass der Nutzer sie in einer Augmented Reality (AR) Anwendung sehen kann.

This thesis presents a system that detects geometric primitive in the user's surroundings on mobile devices without specialized depth-sensing hardware. The system utilizes depth data from the Google ARCore Depth API to create a point cloud. To efficiently store and update the point cloud information in real-time, a custom octree implementation is employed. Primitives are detected within the point cloud using the RANSAC implementation by [SWK07]. The resulting parameterizations of the primitives are used to generate triangle meshes of their convex hulls. These meshes are finally rendered and overlayed onto the camera feed, accessible to the user through an Augmented Reality (AR) application.