Immersive data visualization and LLM-supported decision-making in digital twins for predictive maintenance of industrial robots

Abstract

Diese Arbeit untersucht, inwieweit immersive Datenvisualisierung in Virtual Reality (VR) und Entscheidungsunterstützung durch Large Language Models (LLMs) die Fehlerdiagnose in digitalen Zwillingen von Industrierobotern verbessern können. Hierfür wurde ein Unity-basierter VR-Prototyp für die Meta Quest VR-Headsets entwickelt, der einen fünfachsigen Industrieroboter als digitalen Zwilling simuliert und neun Fehlerszenarien abdeckt. Der Prototyp implementiert zwei Visualisierungsmodi (die „Labels“-Darstellung mit numerischen Feldern und eine multimodale Schicht mit Temperatur-Heatmap, Ghost-Roboter-Vibrationsoverlay und haptischem Feedback) sowie einen sprachbasierten LLM-Assistenten auf Basis einer RAG-Pipeline mit einem verkörperten Avatar. In einer kontrollierten 2×2-within-subject-Studie mit 𝑁 = 22 Teilnehmenden wurden Diagnosegenauigkeit, Aufgabenabschlusszeit, kognitive Belastung (NASA-TLX), Vertrauen (TAS), Nutzererleben (UEQ-S) und Entscheidungssicherheit gemessen. Die LLM-Unterstützung verbesserte die Diagnosegenauigkeit signifikant um ca. 25 Prozentpunkte (𝐹 (1, 21) = 11.08, 𝑝 = 0.003, 𝜂2 𝑝 = 0.345), reduzierte die mentale Beanspruchung (𝑝 = 0.010) und steigerte das Nutzerleben deutlich (𝐹 (1, 21) = 29.85, 𝑝 < 0.001, 𝜂2 𝑝 = 0.59), allerdings auf Kosten einer längeren Bearbeitungszeit. Da der Assistent über eine Ground-Truth-Injektion als Halluzinationsschutz abgesichert war, ist der Genauigkeitsgewinn als Obergrenze gut fundierter LLM-Unterstützung zu verstehen. Die multimodale VR-Visualisierung zeigte hingegen keinen signifikanten Effekt auf die Genauigkeit, senkte aber die Entscheidungssicherheit und erhöhte die Frustration bei Nicht-Experten. Interaktionseffekte beider Faktoren wurden nicht gefunden. Angesichts der moderaten Stichprobengröße (𝑁 = 22) sind die teils sehr großen Effektstärken als Befunde einer explorativen Studie zu verstehen. Die Ergebnisse zeigen, dass LLM-Integration der wirksamste Hebel zur Verbesserung von Diagnoseleistung und Nutzererfahrung in VR-Digital-Twin-Systemen ist, während multimodale Visualisierung primär für erfahrene Domänenexperten von Nutzen sein könnte. Die Variante mit den klassischen numerischen Feldern und einem LLM-Assistenten erzielte die besten Ergebnisse in der vorliegenden Stichprobe.

This thesis investigates the extent to which immersive multimodal visualization in virtual reality (VR) and large language model (LLM) based decision support improve fault diagnosis in digital twins of industrial robots. A Unity-based VR prototype was developed for the Meta Quest standalone headset, simulating a five-axis industrial robot arm with nine fault types. The system implements two visualization modes (numerical text labels and a multimodal layer comprising a temperature heatmap shader, a ghost-robot vibration overlay, and haptic controller feedback) alongside a voice-based LLM assistant powered by a retrieval-augmented generation pipeline and delivered through a photorealistic lip-synchronized avatar. A controlled 2×2 within-subject laboratory study with 𝑁 = 22 participants measured diagnostic correctness, task completion time, cognitive load (NASA-TLX), system trust (TAS), user experience (UEQ-S), and decision confidence. LLM assistance significantly improved diagnostic correctness by approximately 25 percentage points (𝐹 (1, 21) = 11.08, 𝑝 = 0.003, 𝜂2 𝑝 = 0.345), reduced perceived mental demand (𝑝 = 0.010), and produced a very large improvement in user experience (𝐹 (1, 21) = 29.85, 𝑝 < 0.001, 𝜂2 𝑝 = 0.59), at the cost of increased task completion time. Because the assistant was grounded through a ground-truth injection that served as a hallucination guardrail, the correctness gain should be read as an upper bound of well-grounded LLM assistance. Multimodal VR visualization produced no significant effect on diagnostic correctness and was associated with both lower decision confidence and higher frustration in the non-expert sample. No significant interaction between the two factors was found. Given the modest sample size (𝑁 = 22), the partly very large effect sizes should be interpreted as findings of an exploratory study. These results indicate that LLM voice assistance is the dominant driver of diagnostic performance gains in VR digital twin systems for industrial maintenance, while the benefit of multimodal visualization appears conditional on domain expertise that was absent in the present convenience sample. The condition combining the classic numerical text labels with LLM assistance achieved the best overall results in the present sample.