German Word Level Lip Reading with Deep Learning

Abstract

Lippenlesen, auch visuelle Spracherkennung genannt, ist eine der herausfordendesten Aufgabe in der Kreuzung zwischen Computervision und Verarbeitung der natürlichen Sprachen. Fast alle Arbeiten in diesem Bereich konzentrieren sich auf die englische Sprache. Diese Abschlussarbeit untersucht, implementiert und evaluiert verschiedene neuronale Netze für die deutsche Sprache. Dafür wird der Datensatz DLIP erschaffen.

Lip Reading, also known as Visual Speech Recognition is a challenging task in the intersection between Computer Vision and Natural Language Processing. Most works in this field focus on the English language. This thesis analyses, implements and evaluates different neural networks on the German language. DLIP is created and served as the dataset.