End-to-End Deep Learning for Lane Keeping of Self-Driving Cars with Focus on Robustness against System Discrepancies Regarding the Steering

Abstract

End-to-end approaches for autonomous driving gain popularity since NVIDIA demonstrated its capabilities with their PilotNet architecture in 2016. Although many research projects are subject to the field of end-to-end architecures, less effort is taken into the issue that arises when a vehicle with different physical properties uses an architecture that it was not trained on specifically. This results in something that we refer to as 'system discrepancies' and can be understood as a sim-to-real problem. In this thesis we implement and evaluate NVIDIA's popular PilotNet against a system discrepancy which is an offset in the steering. This architecture maps an input image of the front facing camera to an absolute steering wheel angle. We use a custom data set including images with minimal complexity in regard to image features that we generated in the autonomous driving simulator CARLA. In the context of CARLA, we demonstrate that a steering offset negatively impact the driving performance and offsets the vehicle's position to an amount that is not acceptable in a real world scenario. We propose, implement and evaluate a prototype architecture called PilotNetΔ (PilotNet Delta) that has increased robustness against the steering offset and leads to improved results when comsidering the lateral offset on the road. PilotNetΔ uses a convolutional LSTM layer to map a sequence of images to a relative steering angle, which is the difference to the prevoius steering prediction.

End-to-End-Ansätze für das autonome Fahren gewinnen an Popularität, seit NVIDIA 2016 mit der PilotNet-Architektur deren Fähigkeiten demonstrierte. Obwohl sich viele Forschungsprojekte mit End-to-End-Architekturen befassen, werden weniger Anstrengungen unternommen, um das Problem zu lösen, das entsteht, wenn ein Fahrzeug mit unterschiedlichen physikalischen Eigenschaften eine Architektur verwendet, für die es nicht speziell trainiert wurde. Dies führt zu etwas, das wir als "Systemdiskrepanzen" bezeichnen und als ein Sim-zu-Real-Problem verstanden werden kann. In dieser Arbeit implementieren und evaluieren wir NVIDIAs PilotNet hinsichtlich einer Systemdiskrepanz, die ein Versatz im Lenksignal ist. Diese Architektur bildet ein Eingangsbild der Frontkamera auf einen absoluten Lenkradwinkel ab. Wir verwenden einen benutzerdefinierten Datensatz mit Bildern mit minimaler Komplexität in Bezug auf Bildmerkmale, die wir im autonomen Fahrsimulator CARLA generiert haben. Im Rahmen von CARLA zeigen wir, dass sich ein Lenkungsversatz negativ auf die Fahrleistung auswirkt und die Position des Fahrzeugs in einem Ausmaÿ verschiebt, das in einem realen Szenario nicht akzeptabel ist. Wir schlagen eine Prototyp-Architektur mit dem Namen PilotNetΔ (PilotNetDelta) vor, implementieren und bewerten sie. Diese Architektur ist robuster gegenüber dem Lenkungsversatz und führt zu besseren Ergebnissen bei der Berücksichtigung des seitlichen Versatzes auf der Straÿe. PilotNetΔ verwendet ein Convolutional LSTM Layer, um eine Bildsequenz auf einen relativen Lenkwinkel abzubilden, der die Differenz zur vorherigen Lenkvorhersage darstellt.