Deepfake detection via facial landmark motion analysis during person-specific word pronunciation

Abstract

Deepfakes have become increasingly more popular and realistic over the last few years thanks to the fast advancement in machine learning architectures such as generative adversarial networks (GANs). The creation and detection of these realistic deepfakes remains a cat and mouse game due to the ever-improving nature of the GAN training process. To break out of this cycle, a focus on person specific features instead of general features to detect deepfakes is necessary. This thesis focuses on facial landmark features that are in motion during the pronunciation of a select number of words of a specific target person and utilizes different convolutional neural network (CNN) architectures for its classification. It can be shown that this approach is feasible, produces results with a high confidence and could also be expanded on more words. The trained model is also resistant against various video resolutions and could successfully detect future unseen video resolution formats.

Deepfakes sind in den letzten Jahren dank der rasanten Fortschritte bei Architekturen des maschinellen Lernens wie Generative Adversarial Networks (GANs) immer beliebter und realistischer geworden. Die Erstellung und Erkennung dieser realistischen Deepfakes bleibt ein Katz- und Mausspiel, was in der Natur des GAN-Trainingsvorgangs liegt. Um diesen Kreislauf zu durchbrechen, ist eine Konzentration auf personenspezifische Merkmale anstatt allgemeiner Merkmale zur Erkennung von Deepfakes notwendig. Diese Arbeit konzentriert sich auf Gesichtsmerkmale, die während der Aussprache einer ausgewählten Anzahl von Wörtern einer bestimmten Zielperson in Bewegung sind, und verwendet verschiedene Architekturen von Convolutional Neural Networks (CNNs) für deren Klassifizierung. Es kann gezeigt werden, dass dieser Ansatz praktikabel ist, Ergebnisse mit hoher Zuverlässigkeit liefert und auf weitere Wörter ausgedehnt werden kann. Das trainierte Modell ist außerdem resistent gegen verschiedene Videoauflösungen und könnte erfolgreich Videos von unbekannten Videoauflösungsformaten erkennen.