Visuelle Spracherkennung für Assistenzroboter durch Dynamic-time-warping

Abstract

Der Einsatz einer akustischen Spracherkennung in der Industrie zur Steuerung/Bedienung von Robotern beherbergt Risiken. Durch eine laute Geräuschkulisse können Kommandos vom System falsch interpretiert werden. In dieser Masterarbeit wird ein visuelles Spracherkennungssystem entwickelt. Die Lippen von Menschen werden mithilfe von Bildverarbeitung gelesen. Es werden Kurzkommandos von einem Assistenzroboter wiedererkannt. Das visuelle Spracherkennungssystem kann unterstützend für ein akustisches Spracherkennungssystem eingesetzt werden. In der Auswertung wird gezeigt, dass das System Kurzkommandos zuverlässig wiedererkennen kann.

The use of an acoustic speech recognition in the industry for controlling/handling a robot entails risks. Commands can be misinterpreted from the system in case of high background noise. In this master thesis a visual speech recognition system is developed. The lips of people are read by image processing. Short commands are recognised by an assistant robot. The visual speech recognition system can be used to support an acoustic speech recognition system. In the evaluation, it is shown that the system can reliably recognise short commands.