3D-Gaussian Splatting für die virtuelle Filmproduktion im visuellen Vergleich mit eigenständig produzierten Filmsequenzen

Abstract

Bildbasierte 3D-Rekonstruktionsverfahren sind in der Lage, aus einer Reihe digitaler Fotografien eines Objekts oder einer Umgebung dreidimensionale Computermodelle zu berechnen. Die im Jahr 2023 publizierte Forschungsarbeit „3D Gaussian Splatting for Real-Time Radiance Field Rendering” nutzt einen effizienten Ansatz in der Repräsentation und Bildsynthese, um erstmals fotorealistische Modelle mit Echtzeit- Wiedergabe zu generieren. Aufgrund der hohen visuellen Qualität der Rekonstruktionen ergeben sich potenzielle Anwendungsmöglichkeiten in der Filmproduktion, insbesondere für die Erstellung virtueller Sets im Kontext von Virtual Production. In dieser Arbeit wird anhand einer Parameterstudie mit objektiven Vergleichskriterien und einer wahrnehmungsbasierten Gegenüberstellung systematisch untersucht, welche Faktoren im Prozess der Modellgenerierung einen Einfluss auf die visuelle Qualität haben und unter welchen Bedingungen die besten Rekonstruktionsergebnisse erzielt werden können. Daran schließt sich die Ausgangsfrage an, ob „Gaussian Splatting“ dem visuellen Anspruch an Bewegtbildformate gerecht werden und als Werkzeug zur Generierung digitaler Szenen für die virtuelle Filmproduktion genutzt werden kann. In einem Modellversuch werden Filmsequenzen einer U-Bahn-Station sowohl vor Ort als auch virtuell produziert und miteinander verglichen. Zudem wird eine Person in einem virtuellen Studio-Setup mit Green-Screen-Keying in die digitale Szene eingefügt. In der Auswertung zeigt sich, dass „Gaussian Splatting“ unter kontrollierten Bedingungen und mit dem erarbeiteten Workflow Rekonstruktionsergebnisse erzielen kann, die zum Großteil als fotorealistisch einzustufen sind. Die virtuell produzierten Aufnahmen im Modellversuch weisen zwar noch Probleme bei der visuellen Darstellung auf, zeigen aber auf anschauliche Weise, dass sich „Gaussian Splatting“ zur Erstellung digitaler Szenen für die virtuelle Filmproduktion gewinnbringend einsetzen lässt.

Image-based 3D reconstruction methods can generate three-dimensional computer models from a series of digital photographs of an object or environment. The research paper “3D Gaussian Splatting for Real-Time Radiance Field Rendering,” published in 2023, employs an efficient image synthesis approach to generate photorealistic models with real-time rendering. Due to the high visual quality of the reconstructions, there is potential for applications in film production, particularly for creating virtual sets in virtual production contexts. In this thesis, a parameter study with objective comparison criteria and perception-based comparisons are used to systematically investigate which factors in the model generation process influence visual quality, and under which conditions the best reconstruction results can be achieved. This leads to the central question of whether 'Gaussian Splatting'meets the visual demands of moving image formats and can be used to generate digital scenes for virtual film production. In a pilot study, film sequences of a subway station were produced both on location and virtually, and the results were compared. Additionally, a person is inserted into the digital scene in a virtual studio setup using green-screen keying. Evaluation shows that under controlled conditions and using the developed workflow, 'Gaussian Splatting' can produce reconstructions that are largely classified as photorealistic. While the virtually produced footage in the pilot study still exhibits issues with visual representation, it clearly demonstrates that 'Gaussian Splatting' can be used effectively to create digital scenes for virtual film production.