Neuronales Hybridsystem zur Klassifizierung dynamischer dreidimensionaler Gesten

Abstract

Computer Vision bietet bereits unterschiedliche Ansätze zur Erkennung menschlicher Gesten. In dieser Thesis wird dazu eine neuartige Kombination von Ansätzen der Objekt- und Gestenerkennung, unter Verwendung von künstlichen neuronalen Netzen vorgestellt, um dynamische und detailreiche Gesten der Gebärdensprache zu klassiffzieren. Um die Komplexität solcher Gesten erfassen zu können werden drei unterschiedliche Gesteninformationen genutzt. Die gewonnenen Daten dieser Teilsysteme werden mittels von einander unabhängigen neuronalen Netzen ausgewertet. Ein finales neuronales Netz fasst diese Auswertungen zusammen und klassiffziert die Bedeutung der Geste. Die Eigenschaften und Ergebnisse dieses Hybridsystems und seiner Teilsysteme werden untersucht und diskutiert.

Computer vision already offers various approaches for recognizing human gestures. This thesis presents a new combination of approaches of object- and gesture-recognition with neural networks, for recognizing daynamic and detailed gestures of Sign Language. To acquire the complexity of such gestures, three different types of information of these gestures are exploited. The gathered data is evaluated in three independent neural networks. A final neural network pools these subsystems and classffes the gesture. The characteristics and results of this hybridsystem and its subsystems will be evalutated and discussed.