Synthetisierung von Audiosignalen mithilfe Neuronaler Netze am Beispiel von Vogelgesang

Abstract

Das Ziel der vorliegenden Arbeit ist die Konzeption, Implementierung und Evaluation einer Architektur auf Basis Neuronaler Netze für die Synthese von Vogelgesang. Die hier entwickelte Architektur besteht aus zwei Neuronalen Netzen: einem Wasserstein-GAN, der Mel-Spektrogramme mit Vogelgesang erzeugt und einem für die Sprachsynthese vortrainierten Vocoder, der diese Mel-Spektrogramme in Audiosignale in Wellenform umwandelt. In diesem Zusammenhang wird die Funktionsweise von Generative Adversarial Networks (GANs) und die darauf aufbauenden Wasserstein-GANs beschrieben. Anschließend werden Evaluationsmetriken für die Beurteilung der erzielten Ergebnisse ausgearbeitet. Im Kern geht die Arbeit der Frage nach, ob die Architektur bestehend aus den Komponenten WGAN und Vocoder sich für die Synthese von Vogelgesang eignet. Dazu werden verschiedene Konfigurationen dieser Architektur trainiert und die erzielten Ergebnisse quantitativ und qualitativ evaluiert. Im Rahmen der quantitativen Evaluation wird der Frage nachgegangen, ob der FID-Score ein plausibler Indikator für die Bewertung von generiertem Vogelgesang ist. Die qualitative Evaluation erfolgt durch den Autor der Arbeit über den Vergleich von generierten Daten mit Daten aus dem Trainingsdatensatz. Als Grundlage dieses Vergleichs dienen ermittelte Nearest Neighbours von generierten Daten zu typischen Mustern aus dem Trainingsdatensatz. Die durchgeführte Evaluation zeigt, dass die vorgestellte Architektur die Synthese von einfachen Signalen des Vogelgesangs ohne Qualitätsverlust ermöglicht. Bei komplexen Signalen sind erkennbare Qualitätsunterschiede festzustellen. Zusätzlich wird gezeigt, dass der FIDScore einen validen Indikator für das Messen des Trainingsverlaufs und der Bewertung der synthetisierten Mel-Spektrogramme darstellt. Die Ergebnisse der Arbeit können als Ausgangspunkt für weiterführende Forschungsarbeiten dienen. Die erzeugten Ergebnisse und Implementationen sind für die Öffentlichkeit bereitgestellt.

The goal of this paper is to design, implement, and evaluate a neural network-based architecture for bird song synthesis. The developed architecture consists of two neural networks: A Wasserstein GAN that generates mel spectrograms of bird song and a vocoder, pre-trained for speech synthesis, that converts these spectrograms into audio signals. In this context, Generative Adversarial Networks (GANs) and Wasserstein GANs are described and based on this evaluation metrics for the assessment of the obtained results are elaborated. In essence, this thesis addresses the question of whether the architecture consisting of the components WGAN and Vocoder is suitable for the synthesis of bird song. For this purpose, different configurations of this architecture are trained and the obtained results are quantitatively and qualitatively evaluated. In the quantitative evaluation, the question of whether the FID score is a plausible metric for the evaluation of generated bird song is investigated. The qualitative evaluation is done by the author of the paper by comparing nearest neighbors of generated data to typical patterns from the training dataset. The evaluation shows that the presented architecture allows the synthesis of simple bird song without quality loss. More complex signals show a noticeable difference in quality. In addition, it is shown that the FID score is a valid indicator for measuring the training progress and the evaluation of the synthesized mel spectrograms. The results of the work can serve as a starting point for further research. The generated results and implementations have been made available to the public.