Bat Call Classification in Audio Recordings with Drone Noise Using Deep Learning

Abstract

There are several approaches to bat call classification using deep learning. In this thesis, I compared existing architectures for bat call classification and for general audio classification on a dataset that contained acoustic drone noise in the recordings in addition to bat calls. Two pretrained models (without further training) showed no significant difference between data with and without drone noise. I also compared two pretrained models after transfer learning. For the training dataset I compared different levels of resampling and an augmented dataset to compensate for the high class imbalance between the three classes in the dataset. The best results were obtained using the Patchout faSt Spectrogram Transformer (PaSST) model with oversampling. The model achieved a f1-score of 94.9% on a binary classification task. On multilabel classification it achieved a micro f1-Score of 90.6% and a macro f1-score of 78.5%.

Es gibt bereits einige Modelle für die Klassifikation von Fledermausrufen mithilfe von Deep Learning. In dieser Arbeit habe ich existierende Modelle für die Klassifizierung von Fledermausrufen und für die allgemeine Audioklassifikation für einen Datensatz verglichen, der zusätzlich akustisches Drohnenrauschen enthält. Zwei vortrainierte Modelle (ohne weiteres Training) zeigten keinen signifikanten Unterschied zwischen Daten mit und ohne Drohnenrauschen. Ich habe auch zwei Modelle nach „Transfer Learning“ verglichen. Für den Trainingsdatensatz habe ich verschiedene „Resampling“ und „Augmentation“ Kombinationen verglichen, um das hohe Ungleichgewicht zwischen den drei Klassen im Datensatz auszugleichen. Die besten Ergebnisse wurden mit dem Modell „Patchout faSt Spectrogram Transformer“ (PaSST) und „Oversampling“ erzielt. Das Modell erreichte einen F1-Score von 94, 3% für binäre Klassifizierung. Für „Multilabel“ Klassifizierung erreichte es einen Mikro F1-Score von 90, 6% und einen Makro F1-Score von 78, 5%.