Visuell geführtes Pick-and-Place auf einem autonomen mobilen Roboter mithilfe von Objekterkennung

Abstract

Da Roboter immer mehr in unseren Alltag finden und uns Arbeit abnehmen, ist es wichtig Algorithmen zu finden, die es ihnen ermöglichen, in einem dynamischen Umfeld Objekte aufzunehmen und zu platzieren. Ein anderes aktuelles Forschungsthema ist Deep Learning. Dieser Bereich wird aktuell stark erforscht und hat in den letzten Jahren große Fortschritte gemacht. In der vorliegen Arbeit wurde ein Ansatz entwickelt, der in einem vereinfachten Szenario, das Aufnehmen und Ablegen eines Pakets umsetzt und dabei einen Objekterkenner als visuelle Unterstützung verwendet. Als Fahrplattform kommt das Unmanned Ground Vehicle namens Husky mit einem UR5 Arm von Universal Robots zum Einsatz. Die Lösung wurde sowohl für die Simulation, als auch auf dem realen Roboter entwickelt. Als Objekterkenner wurde ein Yolov5 Modell verwendet, welches mit Hilfe von Transfer Learning trainiert wurde. Dazu wird erläutert, welche Parameter und Bilder für das Training verwendet wurden. Die Steuerung der Roboter wurde mit Hilfe einer Finite State Machine realisiert. Dabei wird erklärt, wie diese aufgebaut ist und wie die Objekterkennung in den Prozess integriert wurde. Diese Lösung wurde dann anhand der Kriterien Zuverlässigkeit, Genauigkeit, Flexibilität und Sicherheit evaluiert. Dabei wird zunächst auf die Unterschiede zwischen der Simulation und dem realen Roboter eingegangen. Anschließend werden die drei Hauptphasen Detect, Pick und Place einzeln bewertet. Zum Schluss werden Verbesserungspotentiale aufgeführt. Ergebnis der vorliegenden Arbeit ist, dass die Objekterkennung erfolgreich funktioniert. Jedoch werden mehr Umgebungsdaten benötigt, um einen zuverlässigen Prozess zu gewährleisten. Außerdem ist die Sim-To-Real gap ein Problem, wodurch die Ergebnisse in der Simulation nicht ganz auf den realen Roboter übertragbar sind.

Robots are taking over more and more of our work in everyday life. That is why it is important to find algorithms that enable them to pick and place objects in a dynamic environment. Another current research topic is Deep Learning. Currently, this area is being heavily researched and has made great progress in recent years. In this work, an approach has been developed which picks and places packages in a simplified scenario. An object detector was used for visual support. The used platform is the Unmanned Ground Vehicle called Husky with an UR5 arm from Universal Robots. The solution was developed for both simulation as well as for the real robot. Yolov5 was used as a object detector. It was trained via transfer learning. Thus, it is shown which parameters and images were used for the training. The process control of the robots is realized with the help of a Finite State Machine (FSM). It is explained how the FSM is structured and how the object recognition was integrated into the process. This solution is then evaluated in terms of reliability, accuracy, flexibility and safety. The differences between the simulation and the real robot are discussed. Then the three main phases Detect, Pick and Place are evaluated individually. The result of the present work is that the object recognition works successfully, but more data from the enviroment is needed to ensure a reliable process. In addition, the sim-to-real gap is a problem, which makes the results in the simulation not completely transferable to the real robot.