Robuster Reinforcement Learning Algorithmus zur Überbrückung der Sim-to-Real Gap im autonomen Fahren - Alexander Hoffmann (2024)
Die Diskrepanz zwischen der Realität und einer Simulation stellt die Forschung im Bereich des autonomen Fahrens vor zahlreiche Herausforderungen. Simulationen erfassen nicht alle Aspekte der realenWelt, und das Training in der Simulation kann zu unvorhersehbarem Verhalten in der tatsächlichen Anwendung führen, aufgrund der Unterschiede zwischen der Simulation und der realen Umgebung. In dieser Arbeit wird ein Ansatz vorgestellt, um diese Unterschiede speziell in Bezug auf die Lenkung eines Fahrzeugs zu behandeln. Dieser Ansatz wird bei drei unterschiedlichen Reinforcement Learning Algorithmen angewandt: TD3, PPO und DQN. Die Idee besteht darin, anstatt das Netzwerk mit einem absoluten Lenkwinkel zu trainieren, mit der Differenz zwischen dem gewünschten und dem gegebenen Lenkwinkel zu arbeiten. Dadurch können Abweichungen in der Lenkung korrigiert werden, die durch technische Fehler in einer realen Anwendung verursacht wurden. Dieser Ansatz, der als TD3Δ, PPOΔ und DQNΔ bezeichnet wird, wird mit dem herkömmlichen TD3, PPO und DQN verglichen. Zusätzlich werden die Architekturen beschrieben, die in TD3Δ, PPOΔ und DQNΔ verwendet werden.
Keywords: Autonomes Fahren; Reinforcement Learning; Sim-to-Real Gap; Machine Learning; Deep Learning; Robuste Steuerung; Autonomous Driving; Reinforcement Learning; Robust Control