Eine kopfhörerbasierte, virtuelle Audioumgebung zur räumlichen Positionierung mehrerer Schallquellen mit einer mobilen SoC-Plattform

Abstract

Diese Masterarbeit befasst sich mit der Entwicklung einer mobilen SoC-Plattform zum Erzeugen einer virtuellen Klangwelt. Die virtuellen Schallquellen werden über kopfbezogene Übertragungsfunktionen (HRTF) in Echtzeit berechnet. Das System kann bis zu 8 virtuelle Schallquellen simulieren. Durch die Feststellung der Kopfposition des Zuhörers relativ zur Position der virtuellen Schallquellen mithilfe eines 3-Achsen-Kompasssensors wird die Audiofilterung gesteuert. Zur Steuerung des SoC wurde eine Serveranwendung entwickelt. Diese stellt alle benötigten Informationen zur Verfügung und verschickt diese an das SoC. Auf dieseWeise lässt sich ein beliebiges Audiosignal in einem virtuellen, dreidimensionalen Raum um den Zuhörer positionieren und bewegen. Der Embedded-System-Enwicklungsprozess gliedert sich in die Erstellung des Hardwarebeschleunigers für die Audiofilterung mithilfe des Xilinx Systemgenerators auf Basis der Matlab/Simulink-Entwicklungsumgebung. Zur Optimierung der HRTF-Filterung werden die Interaurale Laufzeitdifferenz und die Interaurale Pegeldifferenz getrennt und separat voneinander verarbeitet. Dieser so entwickelte Hardwarebeschleuniger wurde in die entwickelte System-on-Chip-Plattform integriert. Das SoC verfügt über eine kabellose Schnittstelle, um mit dem Server zu kommunizieren. Über diese Schnittstelle werden alle Informationen (Position von Schallquellen, Audiostreams) ausgetauscht. Der Server verfügt über eine einfache Szenensteuerung zur Positionierung von Schallquellen. Die Audioquellen werden durch eine Schnittstelle aufgenommen und an das SoC verschickt. Für das Audiostreaming wurde ein eigenes Protokoll entwickelt. Der weitere Informationsaustausch zwischen dem SoC und Server geschieht über OpenSoundControl-Nachrichten. Das entwickelte System unterstützt die Echtzeit-Audiofilterung von bis zu acht Audioquellen. Ebenso unterstützt es die Echtzeit-Positionserhaltung der virtuellen Schallquellen für die vollen 360 der horizontalen Kopfdrehung sowie Kopfneigungen im Bereich von -41 bis + 37 .

This thesis deals with the development of an mobile SoC platform for creating a virtual soundscape. The virtual sound sources are calculated using head-related transfer function (HRTF) in real time. The system is able to simulate up to 8 virtual sound sources. By identifying the head position of the listener relative to the position of the virtual sound sources using a 3-axis compass sensor the audiofiltering is controlled. To control the SoC a server application was developed. This provides all the information needed and sends it to the SoC. This way any audio signal within a virtual three-dimensional space around the listener can be positioned and moved. The embedded system development process is divided into the creation of the hardware accelerator for audio filtering using the Xilinx System generator based on Matlab / Simulink. To optimize the HRTF filtering the interaural time difference and interaural level difference are separated and processed separately from each other. This hardware accelerator has been integrated in the system-on-chip platform. The SoC includes a wireless interface to communicate with the server. Via this interface all informations (position of sound sources, audio streams) will be exchanged. The server has an simple scene control for positioning the sound sources. The audio sources are received by an interface and sent to the SoC. For the audio streaming an own protocol was developed.The leftover information exchange occurs via OSC messages between the SoC and the server. The developed system supports real-time audio filtering of up to eight audio sources. It also supports real-time position maintenance of the virtual sound sources for the full 360 of the horizontal plane and a vertical head movement of -41 to +37 .