Entwicklung einer multifunktionalen Virtual-Reality-Plattform für virtuelle Meetings und KI-gestützte Interaktionen mit NPCs

Abstract

Das vorliegende Projekt mit dem Titel „Entwicklung einer multifunktionalen Virtual-Reality-Plattform für virtuelle Meetings und KI-basierte Interaktionen mit NPCs“ befasst sich mit der Konzeption und Implementierung eines neuartigen Systems zur virtuellen Kommunikation im Kontext immersiver VR-Umgebungen. Ziel dieser Plattform ist es, die Qualität virtueller Besprechungen zu verbessern, das Gefühl der Präsenz zu stärken und den Nutzer*innen eine intelligente sowie interaktive Erfahrung zu ermöglichen. Im Rahmen dieses Projekts betreten die Anwender*innen mithilfe von Virtual-Reality-Headsets wie der Oculus Quest eine dreidimensionale Umgebung, in der sie sich gemeinsam in Gruppen treffen, miteinander sprechen, Nachrichten austauschen und über interaktive Avatare kommunizieren können. Ein zentrales Merkmal des Systems ist die Integration eines intelligenten virtuellen Charakters (NPC), der als KI-gestützter Assistent innerhalb der Sitzung fungiert. Dieser NPC übernimmt dabei die Rolle eines Moderators oder Beobachters, der mithilfe künstlicher Intelligenz in der Lage ist, sowohl fachliche als auch allgemeine Fragen der Teilnehmenden zu beantworten und so die Interaktivität der Besprechung aufrechtzuerhalten. Zur Entwicklung dieser Plattform kamen verschiedene Technologien zum Einsatz, darunter Unity, XR Interaction Toolkit, NetCode, Relay, Lobby, Vivox für Sprachkommunikation sowie Convai AI zur Generierung intelligenter Verhaltensweisen für NPCs. Der Fokus des Projekts liegt auf der Entwicklung einer technischen Lösung, die sowohl zuverlässig als auch aus Nutzerperspektive attraktiv und effektiv ist. Der primäre Antrieb zur Realisierung dieses Projekts liegt in den Herausforderungen großer Unternehmen – etwa aus der Industrie- oder Automobilbranche – im Zusammenhang mit der Organisation physischer Besprechungen. In solchen Unternehmen, insbesondere in Bereichen mit mehreren parallel arbeitenden Teams, treten häufig Überschneidungen bei der Nutzung und Buchung von Konferenzräumen auf, was die rechtzeitige Durchführung interaktiver Meetings erheblich erschwert. Die Problematik verschärft sich, wenn Teams während der Besprechung mit physischen Modellen oder spezifischen Werkzeugen interagieren müssen. In solchen Szenarien bietet die vorgeschlagene Virtual-Reality-Plattform eine interaktive und ortsunabhängige Alternative zu Präsenzsitzungen und schafft eine praktische, effektive und jederzeit zugängliche Lösung für alle Teammitglieder. Im weiteren Verlauf dieser Arbeit werden die einzelnen Phasen der Konzeption, Entwicklung, auftretenden Herausforderungen und deren Lösungsansätze sowie die technische Struktur und die Ergebnisse der durchgeführten Usability-Tests der Plattform detailliert beschrieben.

This thesis, titled "Development of a Multifunctional Virtual Reality Platform for Virtual Meetings and AI-Based Interactions with NPCs", explores the design and implementation of an innovative system for virtual communication in immersive VR environments. The platform aims to enhance the quality of online meetings, increase the sense of presence, and provide users with an intelligent and interactive experience. In this project, users utilize VR headsets such as the Oculus Quest to enter a 3D environment where they can gather in groups, speak, send messages, and interact through avatars. A key feature of the system is the integration of a smart virtual character (NPC) who acts as an AI-powered assistant during the meeting. This NPC plays the role of a moderator or observer and is capable of answering both technical and general questions to maintain the interactive nature of the session. The platform is developed using technologies such as Unity, XR Interaction Toolkit, NetCode, Relay, Lobby, Vivox for voice communication, and Convai AI for generating intelligent NPC behaviors. The main focus lies in creating a technically reliable and user-friendly solution that is both effective and engaging. The motivation behind this project originates from the challenges faced by large corporations—particularly in industrial or automotive sectors—regarding the organization of in-person meetings. In such environments, especially where multiple teams operate simultaneously, conflicts in booking and using conference rooms often lead to delays and ineffective sessions. This becomes even more critical when direct interaction with models or physical tools is required. The proposed VR platform offers an interactive and location-independent alternative to physical meetings, enabling practical and accessible collaboration for all team members. The subsequent chapters of this thesis provide a detailed discussion of the design process, development phases, encountered challenges, technical architecture, and the results of user testing conducted on the platform.