Stochastic optimization of synthetic data for neural net based 3d face synthesis

Abstract

In dieser Arbeit wird das Basel Face Model 2017 (BFM) im Hinblick auf die Generierung von Lerndaten für Regressions-Netze untersucht. Ein Regressions-Netz wird erstellt das aus Eingabebildern von Gesichtern Parametervektoren für das BFM erstellt. Diese Parametervektoren sind eine vergleichsweise nierdig dimensionale Repräsentation von Gesichtern die dann in einem nächsten Schritt als Pointcloud oder Mesh bereitgestellt werden können. Das Regressions-Netz wird mit unterschiedlichen Trainingdaten angelernt und die Performance des Netzes und somit die Qualität der Lerndaten wird anschließend mit Hilfe von Facerecognition ausgewertet. Der Ereignisraum des BFM wird untersucht und mit Hilfe von Generativen Modellen wird versucht den Ereignisraum so zu beschränken, dass bei der Lerndatengenerierung keine ungültigen Gesichter erstellt werden. Die Beschränkung des Ereignisraums auf valide Gesichter gibt den Generativen Modellen die Möglichkeit ausschließlich realistische Gesichter zu generieren. Die Generativen Modelle die in dieser Arbeit erstellt wurden sind eine Auswahl von Gaussian Mixture Modellen und ein Generative Adversarial Network das zudem mit Parametern für das Alter und Geschlecht der Gesichter versorgt werden kann um so weiter die Ausgabe zu beschränken. Die Wesentlichen Erkenntnise dieser Arbeit sind, dass herkömmliche Erstellung von Lerndaten mit 100k Bildern mittels normalverteilter Werte für die Parametervektoren schlechter abschneidet als die gleichverteilte Initialisierung von Parametervektoren. Die Einschränkung des Ereignisraums des BFMs durch generative Modelle hatte zur Folge, dass zwar realisterische Gesichter erstellt wurden, allerdings wurde so auch die Vielfalt der Daten beeinträchtigt. Der Verlust an Vielfalt kann ein Grund für die etwas schlechter Abschneiden der generativen Modelle sein.

In this work, the Basel Face Model 2017 (BFM) will be examined with regard to the generation of learning data for a regression network. A regression network is created that infers parameter vectors for the BFM from input images of faces. These parameter vectors are a comparably low dimensional representation of faces which can then be provided in a next step as point cloud or mesh. The regression network is trained with different training data and the performance of the network and thus the quality of the learning data is then evaluated using face recognition. The event space of the BFM is examined and generative models are used to limit the event space such that no invalid faces are created during the generation of the learning data. The limitation of the event space on valid faces gives the Generative models the possibility to generate only realistic faces. The generative models created in this work are a selection of Gaussian Mixture models and a Generative Adversarial Network that can also be fitted with facial age and gender parameters to further restrict the output. The main findings of this thesis are that conventional generation of 100k images as training data with normal distributed initialization of parameter vectors does worse than uniform distributed values for the parameter vectors. The limitation of the BFM’s event space by generative models meant that realistic faces were created, but this also affected the diversity of the data. The loss of diversity can be a reason for the somewhat poorer performance of the generative models.