Analyse und Optimierung von Tracking- und Synchronisationsprozessen in Virtual-Production-Workflows

Abstract

Diese Bachelorarbeit untersucht Latenzen und instabile Trackingdaten in einem Virtual- Production-Aufbau des Videolabors der HAW Hamburg. Dafür wurden zwei echtzeitfähige Anwendungen entwickelt. Die erste Anwendung bestimmt den zeitlichen Versatz zwischen realem Kamerabild und virtuellem Hintergrund, indem Bewegungen in zwei SDI-Videosignalen erfasst und durch Kreuzkorrelation verglichen werden. Verzögerungen und ihre Richtung konnten grundsätzlich erkannt werden. Die Messergebnisse waren jedoch noch nicht ausreichend reproduzierbar. Die zweite Anwendung stabilisiert den FreeD-Trackingdatenstrom der VIVE Mars. Eine kalibrierte Stillstandserkennung unterscheidet zwischen Kamerabewegung und Stillstand. Wenn die Kamera still steht, wird die Kamerapose eingefroren, während Bewegungen mit einem One-Euro-Filter geglättet werden. Dadurch werden Drift und Mikrobewegungen zuverlässig unterdrückt. Die Trackingstabilisierung wurde weitgehend erfolgreich umgesetzt, während die Latenzbestimmung noch weiter validiert werden muss.

This bachelor’s thesis investigates latency and unstable tracking data in a virtual production setup in the video laboratory at Hamburg University of Applied Sciences. Two real-time applications were developed for this purpose. The first application determines the temporal offset between the real camera image and the virtual background by detecting motion in two SDI video signals and comparing it using cross-correlation. Delays and their direction could generally be detected. However, the measurement results were not yet sufficiently reproducible. The second application stabilises the FreeD tracking data of the VIVE Mars. A calibrated standstill detection method distinguishes between camera movement and tracking noise. During standstill, the camera pose is frozen, while movements are smoothed using a One Euro filter. This reliably suppresses drift and small unintended movements. Tracking stabilisation was largely implemented successfully, while the latency measurement requires further validation.