Distributed streaming and compression architecture for point clouds from mobile devices

Abstract

Diese Arbeit stellt eine verteilte zweistu ge Streaming- und Kompressionsarchitektur für Punktwolken von mobilen Android-Geräten vor. Tiefenbilder eines am mobilen Gerät angeschlossenen Structure-Sensors werden e zient auf stationäre Systeme übertragen und anschließend in Punktwolken umgewandelt und weiterverteilt. Das Verfahren eignet sich, um intensive Berechnungen wie Handgesten- und Objekterkennung auf leistungsfähigere Geräte auszulagern. Dies wird zum Beispiel für Szenarien mit virtueller und gemischter Realität benötigt, da der Sensor am Körper getragen werden kann. Es wird eine e ziente Client-Server-Architektur in Java vorgestellt. Die Sensordaten werden als Graustufenbilder mit 16-bit Farbtiefe übertragen. Auf dem stationären System werden Punktwolken berechnet und über Schnittstellen weiterverteilt. Entwurfsmuster, die sich für die Aufgabe der zeitkritischen Übertragung großer Datenmengen eignen, werden angepasst und eingesetzt. Bisherige Lösungen boten keine zufriedenstellende Integration in Android-Systeme. Verschiedene Datenkompressionsalgorithmen werden in diese Architektur integriert, und die Geschwindigkeit und Latenz unter realen Bedingungen gemessen. Verglichen wurden Jpeg-LS, De ate, BZip2 und Snappy mit der unkomprimierten Übertragung. Die Performanz-Messung der implementierten Verfahren hat ergeben, dass die De ate-Kompression bei Level 2 am Geeignetsten ist, mit einer Übertragungsrate von 28 Bildern die Sekunde und einer relativ kurzen Latenz von 133ms. Damit eignet sich die vorgestellte Lösung gut für Benutzer-Interaktion mit virtuellen Umgebungen. Schnellere Systeme oder Weiterentwicklungen in der Kompressionstechnik können diese Werte weiter verbessern.

This work presents a distributed two-stage streaming and compression architecture for point clouds from mobile devices. Depth images from a Structure sensor attached to a mobile device are transferred e ciently to stationary systems and then converted to point clouds and redistributed. The technique is suited for outsourcing intense computations like hand gesture and object detection onto more powerful devices. This is for example needed for scenarios with virtual and mixed reality, as the sensor is worn on the body. An e cient client server architecture in Java is introduced. The sensor data is streamed as 16-bit grayscale images. On the stationary system, point clouds are computed and redistributed over interfaces. Design patterns designed for the time-critical transmission of bulk data are customized and used. Prior solutions did not o er satisfactory integration into android systems. Various data compression algorithms are integrated into this architecture and the speed and latency are measured under realistic conditions. Jpeg-LS, De ate, BZip2 and Snappy were compared to the uncompressed transmission. Performance measurements of the implemented methods have revealed, that the De ate compression using Level 2 was most suitable with a transmission rate of 28 frames per second and a relatively short latency of 133ms. The presented solution suits well for the user interaction with virtual environments. Faster systems or further development of the compression methods can improve these results.