Application of Multi-Fusion Network for Human-Object Interaction Detection

Abstract

Diese Abschlussarbeit stellt Multi-Fusion Network Architektur für Erkennung von Mensch-Objekt-Interaktion mit mehreren Kameras vor und implementiert eine Anwendung für einen spezifischen Anwendungsfall eines Getränkekühlschranks. Die Abschlussarbeit präsentiert einfache jedoch effektive Vorgehensweisen zur Reduzierung der erforderten Trainingsdatenmenge und des Risikos von Overfitting, insbesondere im Umgang mit kleinem Datensatz, der üblich von individueller Person oder kleiner Organisation aufgenommen wurde. Das Modell erreichte eine Testgenauigkeit von 91.235% und ein vergleichbares Ergebnis im praktischen Test an der Veranstaltung Solutions Hamburg 2019. Multi-Fusion Network ist leicht zu skalieren durch gemeinsame lernbare Parameter und auch so leichtgewichtig, dass es auf kleine Geräte mit durchschnittlicher Rechenleistung laufen kann. Multi-Fusion Network könnte für Indoor-Aktivitäten Erkennung für Smarthome Anwendungen oder Gaming-Erlebnis angewendet werden.

This thesis proposes Multi-Fusion Network architecture for human-object interaction detection with multiple cameras and implements an application for a specific use case of a drink refrigerator. The thesis also introduces simple but effective approaches for minimizing the required amount of training data and the risk of overfitting, especially when dealing with a small dataset that is commonly recorded by a person or small organization. The model achieved 91.235% test accuracy and comparable result in the real-world test at the event Solutions Hamburg 2019. Multi-Fusion Network is easy to scale thanks to shared learnable parameters. It is also lightweight to run on small devices with average computation capability and, therefore, can be used for smart home applications, gaming experiences, or augmented reality.