Visualisierung von Systeminformationen autonomer Systeme durch Augmented Reality mithilfe von ARCore und ROS

Abstract

Bei der Arbeit mit Robotik-System ist es sowohl in der Entwicklung, als auch in der Anwendung wichtig, die Sensordaten des Systems verständlich darzustellen. Eins der meist verwendesten Frameworks für die Entwicklung von Robotik-Systemen ist das Robot-Operating-System (ROS). In dieser Arbeit wird eine Android Anwendung vorgestellt welche sich mit einem bestehenden ROS-Netzwerken verbinden kann, um die verschiedene ROS-Daten des Systems in Augmented Reality darzustellen. Dabei müssen keine Änderungne an dem bestehenden ROS-System vergenommen werden. Um die visualisierung in Augmented Reality umzusetzen wurde Googles ARCore verwendet. Die Daten werden sowohl in der Umgebung, als auch am Roboter selbst dargestellt und sind fest in der realen Welt verankert. Dadurch können die Daten aus verschiedenen Perspektiven betrachtet werden. Durch die Anwendung kann der tf-Frame des Roboters visualisiert werden. Dabei ist es möglich mit dem virtuellen tf-Frame zu interagieren, um so die einzelnen Bauteile des Roboters analysieren zu können. Zusätzlich können Point-Cloud-Daten des Roboters in Augmented Reality visualisiert werden. Die Daten werden dabei direkt in die Umgebung, in der sie aufgenommen wurden projiziert. Dadurch kann ein gztes räumliches Verständnis für die Daten hergestellt werden. Über die GUI der Anwendung kann dabei festgelegt werden welche Daten Visualisiert werden sollen, zusätzlich können verschiedene Einstellungen an der Visualisierung vorgenommen werden. Die Funktionsweise der Anwendung wird mit einer Reihe von Versuchen geprüft, als Test Geräte wurden Dafür Samsung Galxy Tab S7+ und ein Google Pixel 6 verwendet. Als Autonomes System wurde der Husky aus dem TIQ Projekt genutzt.

When working with a robotic system, it is important, both in development and in application, to present the system’s sensor data in an understandable way. One of the most commonly used frameworks for developing robotic systems is the Robot Operating System (ROS). In this work, an Android application is presented which can connect to an existing ROS network to display the various ROS data of the system in augmented reality. No changes need to be made to the existing ROS system. Google’s ARCore was used to implement the visualization in augmented reality. The data is displayed both in the environment and on the robot itself and is firmly anchored in the real world. This allows the data to be viewed from different perspectives. The tf frame of the robot can be visualized, through the application. It is possible to interact with the virtual tf frame in order to be able to analyze the individual components of the robot. In addition, point cloud data from the robot can be visualized in augmented reality. The data is projected directly into the environment in which it was recorded. This allows a complete spatial understanding of the data to be established. The GUI of the application can be used to specify which data is to be visualized, and various settings can be made to the visualization. The functionality of the application is checked with a series of tests, the devices used are the Samsung Galaxy Tab S7+ and the Google Pixel 6. The Husky from the TIQ project was used as the autonomous system.