Tiefendaten unterstütze Bildauswertung für die Realisierung einer Mensch-Roboter-Kollaboration

Abstract

Im Zuge des Projektes „Smart-Production“ der HAW Hamburg gilt es ein System zu entwickeln, mit dessen Hilfe die Position eines Menschen und mehrerer Transportboxen in einem definierten Arbeitsumfeld erkannt werden. Auf diese Weise soll die Grundlage für eine Mensch-Roboter-Kollaboration (MRK) geschaffen werden. Diese Thesis behandelt dabei die Theorie der umgesetzten Bildverarbeitungsalgorithmen, die notwendigen Koordinatentransformationen zwischen der Umgebung und dem Bild sowie das Verfahren der Tiefenwertmessung. Darüber hinaus werden zwei Ansätze für die Korrektur der schräg platzierten Kamera behandelt und vorhandene Fremdeinflüsse auf das Tiefenbild untersucht und beschrieben. Anschließend erfolgt die Umsetzung der Objekterkennung unter Verwendung des Tiefenund Farbsensors durch die Hu-Momente sowie der Erfassung definierter Merkmale. Die Erkennung des Menschen erfolgt in dem Tiefenbild durch Clustern und Klassifizieren von konvexen Hüllen, indem ein Abgleich mit der Roboterposition stattfindet. Kollisionen zwischen Mensch und Roboter werden durch eine Schnittmenge der Konturen erkannt und stoppen die Bewegung des Roboters. Zusätzlich werden die Ergebnisse der Klassifizierung und Objekterkennung durch die OGRE-3D-Engine visualisiert, die vollständig in eine QT-Framework basierende Benutzeroberfläche integriert ist.

Within the Project “Smart Productions“ of the HAW Hamburg, a system was designed to determine and recognize the position of one human and multiple transport boxes in a defined working area. With this approach, the basis for a human-robot collaboration was established. The purpose of this thesis is to investigate the theory of the used image processing algorithms, the needed coordinate transformation between the environment and the image and the process of depth value measurements. Furthermore, two approaches for the correction of images made by an unevenly placed camera will be applied and the environmental influences on the range images will be investigated and characterized. Additionally, the object recognition will be established using the depth and color sensors by the image moments and the registration of distinct properties of the objects. The recognition of humans will be done by using clusters in the depth image and classification of convex hulls by adjusting for the robot’s position. Eventual collisions between the human and the robot will be detected by an overlap in image contours and result in the termination of the robot’s movement. Additionally, the results of the classification and object recognition by the OGRE-3D engine will be visualized, which is integrated fully in a QT-framework based user interface.