Video-based Facial Expression Recognition with Deep Learning

Abstract

Facial Expression Recognition is a rapidly growing field of research in Computer Vision. It benefits a wide variety of domains including human computer interaction, robotics, education, entertainment, medicine, safety, security, and so on. With the rise of Deep Learning, many Neural Networks have been exploited and achieved promising results. Yet, most studies in the early stages focused on static image while ignoring the temporal characteristic of facial expression. This work aims to deliver a comprehensive overview of the state of the art of Facial Expression Recognition and Deep Learning. Furthermore, it conducts an experiment to gain more insights on how different types of Neural Network perform towards dynamic Facial Expression Recognition. Throughout the experiment, details about the training procedure as well as evaluation of different training techniques will be presented.

Gesichtsausdruckserkennung ist ein schnell wachsendes Foschungsgebiet im Bereich Computervision. Sie kommt einer Vielzahl von Domänen zugute, darunter Mensch-Computer-Interaktion, Robotik, Bildung, Unterhaltung, Medizin, Sicherheit und weiteren. Mit dem Aufkommen von Deep Learning wurden viele neuronale Netze dafür genutzt, welche vielversprechende Ergebnisse erzielten. Eine Vielzahl von frühen Studien konzentrierten sich jedoch auf statische Bilder und beachteten die zeitliche Charakteristik des Gesichtsausdrucks nicht. Ziel dieser Arbeit ist es, einen umfassenden Überblick über den Stand der Technik der Gesichtsausdruckserkennung und Deep Learning zu geben. Darüber hinaus wird ein Experiment durchgeführt, um weitere Erkenntnisse darüber zu gewinnen, wie verschiedene Arten von neuronalen Netze bei der dynamischen Gesichtsausdruckserkennung abschneiden. Während des Experiments werden Details über das Trainingsverfahren sowie die Bewertung verschiedener Trainingstechniken vorgestellt.