Ein Framework für physikbasierte 3D Interaktion mit großen Displays

Abstract

In dieser Arbeit wird ein Framework zur Interpretation von Gesten für große Displays entwickelt. Die Interpretation findet mithilfe einer Physiksimulation statt und soll von den verwendeten Sensoren unabhängig sein. Die Anforderungen für ein solches Framework werden beschrieben und analysiert. Die exemplarische Umsetzung erfolgt für zwei optische Motiontracker. Darauf aufbauende Verfahren zur Erkennung der Hände und der eigentlichen Gestenerkennung werden in der Theorie beschrieben und zum Teil umgesetzt. Für die Gestenerkennung selbst kommt eine Physik-Engine zum Einsatz. Die Teilsysteme kommunizieren über einen Message Broker miteinander. Im Anschluss an erste Versuche erfolgt eine Usability Untersuchung, die über die Benutzbarkeit des Systems hinaus noch klären soll, inwieweit eine Simulation von realen Gegenständen zur Interaktion, den Einstieg in ein solches System vereinfacht. Diese Ergebnisse werden dokumentiert und bewertet.

This paper deals with a framework for the interpretation of gestures for large displays. The interpretation takes place using a physics simulation, and should be independent of the sensors used. The requirements for such a framework are being described and analysed. An exemplary realization is carried out for two different optical motion tracker. Based procedures for the detection of hands and the actual gesture recognition are described in theory and are being partially implemented. For the gesture recognition itself, a physics engine is employed. The subsystems communicate with the help of a Message Broker. Following initial trials, a usability study is carried out. Apart from clarifying the system’s usability, the study also aims to explain to what extend the simulation of real objects simplifies the user’s handling of such a system. These results are being documented and evaluated.