Graph Convolutional Network based Gesture Interpretation of Sekeleton Data

Abstract

Diese thesis untersucht die Anwendbarkeit von Graph Convolutional Networks (GCNs) zur Automatisierung der Interpretation von in-the-wild Skelettdaten. Die Studie untersucht, ob GCNs, insbesondere das Spatial-Temporal Graph Convolutional Network (ST-GCN), Gesten, die in einer unkontrollierten Umgebung aufgenommen wurden, effizient erkennen können. Es wurde ein Datensatz mit Daten aus dem HopE-Projekt erstellt und eine Trainingspipeline entwickelt, die Techniken des Transfer learnings und der Data Augmentation beinhaltet. Die Ergebnisse zeigen, dass GCNs in der Lage sind, die räumliche und zeitliche Dynamik zu erfassen, die für eine genaue Gestenerkennung in realen Szenarien notwendig ist, und geben einen Einblick in das Potenzial von GCNs zur Verbesserung der automatischen Gesteninterpretation in unterschiedlichen und unvorhersehbaren Umgebungen.

This thesis investigates the applicability of Graph Convolutional Networks (GCNs) for automating the interpretation of in-the-wild skeletal data. The study examines whether GCNs, specifically the Spatial-Temporal Graph Convolutional Network (ST-GCN), can effectively interpret gestures captured in uncontrolled environments. A dataset was created using data from the HopE project, and a training pipeline was developed that incorporates transfer learning and data augmentation techniques. The results demonstrate that GCNs can capture the spatial and temporal dynamics necessary for accurate gesture recognition in real-world scenarios, and provide insight into the potential of GCNs to improve automated gesture interpretation in diverse and unpredictable environments.