Entwicklung einer physikalischen Reinforcement Learning Umgebung für einen Quadruped-Roboter zum Lernen eines Bewegungsmusters mittels ROS und OpenAI Gym

Abstract

Das Ziel dieser Arbeit ist die Erstellung einer Reinforcement Learning Umgebung für einen Quadruped-Roboter. Der Roboter soll dabei innerhalb einer physikalisch simulierten Umgebung ein Bewegungsmuster zur Fortbewegung und Navigieren auf einen zufälligen Zielpunkt erlernen. Dazu wird mittels des Robotik-Frameworks ROS und der Simulationssoftware Gazebo ein Robotermodell innerhalb einer physikalischen Simulationsumgebung erstellt. Zum Erstellen der Reinforcement Learning Umgebung wird das Framework OpenAI Gym und das Zusatzpaket Openai_ros verwendet. Zum Erlernen des Bewegungsmusters wird das DQN-Lernalgorithmus verbunden mit Verbesserungsmethoden des Experience Replay Buffers und des Target Networks verwendet. Das erstellte DQN-Netzwerk wird anschließend trainiert und ausgewertet.

The goal of this work is the creation of a reinforcement learning environment for a quadruped robot. Within a physically simulated environment, the robot’s goal is to learn a movement pattern for navigating to a random target point. For this purpose, a robotic model is created within a physical simulation environment by means of the robotics framework called ROS and the simulation software Gazebo. The framework OpenAI Gym and the additional package Openai_ros are used to create the Reinforcement Learning environment. To learn the movement pattern, the DQN learning algorithm is used in conjunction with improvement methods of the Experience Replay Buffer and the Target Network. The created DQN network is then trained and evaluated.