Real-World Reinforcement Learning for Bridging Sim-to-Real Gap in Miniature Autonomy

Abstract

In dieser Arbeit wird ein Reinforcement-Learning-System im Maßstab 1:87 vorgestellt. Dies umfasst einen digitalen Zwilling mit einer vollständigen Simulation sowie ein tatsächliches, im Maßstab 1:87 skaliertes Auto, das mit einer Kamera, einem Servo und einem Motor ausgestattet ist. Verschiedene Experimente wurden durchgeführt, um die Fähigkeiten der gesamten Gym-Umgebung und einer Reinforcement-Learning-Policy zu testen, die versucht, im realen Umfeld autonom zu fahren, indem Erfahrungen aus der Simulation genutzt werden. Ziel ist es, den Sim-to-Real-Gap zu überbrücken, indem das Training in der realen Welt fortgeführt wird. Die Ergebnisse zeigen, dass die Reinforcement-Learning-Policy das Auto in der Simulation steuern kann, die Anwendung in der realen Welt jedoch noch weiterer Forschung bedarf. Durch die Verwendung eines Encoder-Actor-Setups konnte jedoch der Sim-to-Real-Gap für einen supervised gelernten Actor überbrückt werden.

A 1:87 real-world reinforcement learning system is presented in the scope of this thesis. This includes a digital twin with a full simulation and a real 1:87 scaled car, equipped with a camera, servo and motor. Different experiments were conducted to test the capabilities of the whole gym environment and a reinforcement learning policy, trying to drive autonomously in the real-world by using experience from the simulation. Ultimetaly to bridge the sim-to-real gap by extending the training into the real-world. Results show that while the reinforcement learning policy is able to drive the car in the simulation, the performance in the real-world needs further research. Using an encoder-actor setup, the sim-to-real gap could however be bridged for a supervised learned actor.