Real-time detection of German street signs

Abstract

In den letzten Jahren ist die Computer Vision zu einem wesentlichen Bestandteil unserer Welt geworden. Es mangelt nicht an spannenden Aufgaben und Anwendungen für die Computer Vision, von der Bildklassifizierung bis zur 3D-Positionsbestimmung. Einer der Bereiche, an dem wir besonders interessiert sind und an dem wir viel gearbeitet haben, ist die Objekterkennung und -detektion. Die Objekterkennung wird für Anwendungen wie Videoüberwachung, medizinische Bildgebung, Roboternavigation und autonomes Fahren eingesetzt. Anders als bei der Bildklassifizierung wird bei der Objekterkennung nicht nur vorhergesagt, was sich auf dem Bild befindet, sondern auch, wo im Bild das vorhergesagte Objekt zu finden ist. Vor allem im Bereich des autonomen Fahrens werden Computer Vision und Objekterkennungstechniken eingesetzt, um zu bewerten und zu verstehen, was um das autonome Fahrzeug herum auf der Straße vor sich geht. In jedem Land und auf jeder Straße der Welt gibt es Regeln und Vorschriften, um die Beförderung von Fußgängern und Fahrzeugen so sicher, reibungslos und effizient wie möglich zu gestalten. Die meisten Vorschriften auf den Straßen werden durch Straßenschilder gewährleistet. Diese Straßenschilder werden ständig ausgetauscht und gewartet, um sie lesbar zu halten und neue Regeln auf verschiedenen Straßen zu beachten. In Deutschland ist jedes Bundesland dafür verantwortlich, einen Katalog aller Straßenschilder und ihrer Standorte zu jedem Zeitpunkt in seinem Land zu führen. Wenn sich also ein Vorfall wie ein Unfall ereignet, wäre es nicht nötig, darüber zu streiten, ob ein Straßenschild vorhanden war oder nicht, um diese Vorschriften durchzusetzen. Das Ziel dieser Arbeit ist die Erforschung und Entwicklung des Trainings und der Evaluierung des vorgeschlagenen Neuronalen Netzes YOLO für die Echtzeit-Erkennung von deutschen Straßenschildern auf einem mobilen Endgerät. Wir vergleichen die Versionen von YOLOv3 (Tiny und Large) und evaluieren, ob eine von ihnen ausreichend und zuverlässig Straßenschilder von einem mobilen Gerät schnell und genau genug während der Fahrt auf der Straße erkennen kann. . .

In recent years, computer vision has become an essential part of our world. There is no lack of exciting tasks and applications for computer vision, from image classification to 3D position estimation. One of the areas we are mainly interested in and have worked on a lot is object recognition and detection. Object detection is employed for applications, including video surveillance, medical imaging, robot navigation, and autonomous driving. Object detection unlike Image classification, does not only predict what is in the image but also predict where in the image the predicted object is located. Especially in the field of autonomous driving, computer vision and object detection techniques are used to evaluate and understand what is going on around the autonomous vehicle on the road. In every country and on every street in the world, there are rules and regulations to help the conveyance of pedestrians and vehicles be as safe, seamless, and efficient as possible. Street signs are used to ensure most of the regulations on roads. These street signs are continuously replaced and maintained to keep them readable and to adhere to new rules on different streets. In Germany, each state is responsible for keeping a catalogue of all street signs and their locations at each point in time in their respective country. So when an incident like an accident occurs, there would not be the need for the dispute of whether a street sign was present or not to enforce these regulations. The aim of this thesis is the research and development of the training and the evaluation of the proposed state-of-the-art object detection neural network YOLO for the real time detection of german street signs on a mobile device. We compare the versions of YOLOv3 (tiny and large) and evaluate whether any of them can sufficiently and reliably detect street signs from a mobile device at a fast and accurate enough rate when driving on the road. . .