Automatisierung der KI-basierten Generierung längerer Audioinhalte - Konzeption und Realisierung eines lokalen Systems mit Voice Cloning

Abstract

Diese Bachelorarbeit untersucht, wie KI-basierte Sprachsynthese lokal und automatisiert zur Er-zeugung längerer Audioinhalte eingesetzt werden kann. Hierfür wurde ein modularer Python-Pro-totyp entwickelt, der die beiden Modelle Qwen3-TTS und VoxCPM2 über eine gemeinsame Schnittstelle integriert und außerdem Voice Cloning auf Basis einer Referenzaufnahme unterstützt. Längere Eingabetexte werden automatisch segmentiert, abschnittsweise generiert und anschließend zu einer Audiodatei zusammengefügt. Eine optionale Lautheitsnormalisierung reduziert dabei Un-terschiede zwischen den einzelnen Segmenten. Die Anwendung ist über eine API-Schnittstelle und eine Weboberfläche nutzbar. Die Evaluation auf einer NVIDIA GeForce RTX 5080 Grafikkarte zeigt, dass beide Modelle schneller als Echtzeit generieren können. Gleichzeitig wurden bei länge-ren unsegmentierten Ausgaben qualitative Verschlechterungen beobachtet. Die segmentierte Ver-arbeitung konnte diese Effekte begrenzen, wobei die Lautheitsnormalisierung insbesondere bei Qwen3-TTS hörbare Unterschiede zwischen einzelnen Segmenten reduzierte.

This bachelor’s thesis investigates how AI-based speech synthesis can be used locally and automa-tically to generate longer audio content. To this end, a modular Python prototype was developed which integrates the two models, Qwen3-TTS and VoxCPM2, via a common interface and also supports voice cloning based on a reference recording. Longer input texts are automatically seg-mented, generated in sections and then merged into a single audio file. An optional loudness nor-malisation feature reduces differences between the individual segments. The application can be accessed via an API and a web interface. Evaluation on an NVIDIA GeForce RTX 5080 graphics card shows that both models can generate output faster than real time. At the same time, a decline in quality was observed in longer, unsegmented outputs. Segmented processing was able to limit these effects, with loudness normalisation reducing audible differences between individual seg-ments, particularly in the case of Qwen3-TTS.