Automatisierung der KI-basierten Generierung von audiovisuellen Medieninhalten

Abstract

Diese Bachelorarbeit beschäftigt sich mit der Frage, wie die KI-basierte Generierung von Sprechervi-deos durch ein modulares Websystem automatisiert und reproduzierbar gemacht werden kann. Aus-gangspunkt war ein konkreter Bedarf aus einem Forschungsprojekt an der HAW Hamburg, in dem große Mengen an Nachrichtenvideos mit unterschiedlichem politischem Framing erzeugt werden sollten. Das Problem lag dabei nicht im Fehlen geeigneter KI-Modelle, sondern in deren Orchestrierung. Das entwickelte System verbindet ein Node.js/Express.js-Backend mit ComfyUI als KI-Backend und mit einem webbasierten Frontend. Über eine REST-API können Jobs eingereicht und automatisch in einer Warteschlange verarbeitet werden. Für die Sprachsynthese wurden zwei Open-Source Text-to-Speech Modelle mit Voice-Cloning-Funktion verglichen und integriert, für die Videoanimation ein aktuelles Talking-Head-Modell eingesetzt. Eine optionale Nachbearbeitung mit FFmpeg ermöglicht das Hinzu-fügen von Intros und Wasserzeichen.

This bachelor’s thesis examines how the AI-based generation of news anchor videos can be automated and made reproducible using a modular web system. The starting point was a specific need arising from a research project at HAW Hamburg, in which large quantities of news videos with varying political framing were to be generated. The problem was not the lack of suitable AI models, but in their orchestration. The developed system combines a Node.js/Express.js backend with ComfyUI as the AI backend and a web-based frontend. Jobs can be submitted via a REST API and automatically processed in a queue. For speech synthesis, two open-source text-to-speech models with a voice cloning feature were compared and integrated; for video animation, a current talking head model was used. Optional post-processing with FFmpeg allows for the addition of intros and watermarks.