Audioklassifikation mit Convolutional Neural Networks und Mel-Spektrogrammen auf einem System-on-Chip durch Hardware-Software-Co-Design und High-Level-Synthese

Abstract

In dieser Arbeit wird der Einsatz von High-Level-Synthese (HLS) im Hardware-Software-Co-Design untersucht. Zu diesem Zweck wurde eine bestehende, Python-basierte Pipeline zur Vogelstimmenklassifizierung auf ein SoC portiert. Die Implementierung erfolgt in Software, VHDL, HLS und PYNQ. HLS verkürzt die Entwicklungszeit, während HDLs bei Low-Level-Schnittstellen weiterhin überlegen sind. Die Kombination beider Ansätze ermöglicht eine effiziente Echtzeit-Klassifizierung.

This thesis investigates the use of high-level synthesis (HLS) in hardware-software codesign. For this purpose, an existing Python-based pipeline for bird song classification was ported to an SoC. The implementation was carried out in software, VHDL, HLS and PYNQ. HLS shortens development time, while HDLs remain superior for low-level interfaces. The combination of both approaches enables efficient real-time classification.