Leveraging Diffusion-Based Image Generation to Investigate its Impact on Single Cell Detection Accuracy

Abstract

Diese Arbeit bewertet den Einfluss von synthetischen Hellfeldmikroskopiebildern auf Objekterkennungs-modelle bei der Einzelzellenerkennung. Eine zuverlässige Erkennung und Analyse einzelner Zellen in Mikroskopiebildern ist eine kritische Aufgabe in vielen biologischen und medizinischen Anwendungen. Deep-Learning Modelle haben großes Potenzial gezeigt, um Zellerkennungsaufgaben zu automatisieren. Jedoch ist ihre Leistung stark von der Verfügbarkeit großer, vielfältiger und genau gelabelter Datensätze abhängig. Ebenso sind hochwertige Mikroskopiebilder teuer und zeitaufwändig zu erwerben, was es schwierig macht, große Datensätze für das Training zu erhalten. Um dieses Problem zu lösen, können generative Modelle verwendet werden, um synthetische Mikroskopiebilder zu erstellen. Durch das Trainieren von unkonditionierten Diffusionsmodellen auf einem Datensatz von echten Hellfeldmikroskopiebildern generiert diese Studie synthetische Bilder, um die Trainingsdaten zu erweitern. Die Erkennungsrate und Genauigkeit von Objekt-erkennungsmodellen die auf Datensätzen trainiert wurden, die unterschiedliche Anteile von synthetischen Daten enthalten, wird dann auf echten Testdaten bewertet. Die Ergebnisse zeigen, dass diese Diffusionsmodelle in der Lage sind, realistische und hochwertige synthetische Bilder zu generieren, die schwer von echten Bildern zu unterscheiden sind. Aktuelle Objekterkennungsmodelle, die auf diesen synthetischen Daten trainiert wurden, erreichen vergleichbare Ergebnisse zu denen, die nur auf echten Daten trainiert wurden, insbesondere bei niedrigeren IoU-Schwellenwerten. Jedoch wird der Unterschied bei höheren IoU-Schwellenwerten und einem höheren Prozentsatz an synthetischen Daten leicht größer. Die Ergebnisse zeigen, dass synthetische Bilder verwendet werden können, um Objekterkennungsmodelle für Einzelzellen-erkennungsaufgaben zu trainieren, was einen vielversprechenden Ansatz darstellt, um die Herausforderungen bei der Datenerfassung und -annotation in der biologischen Forschung zu überwinden.

This thesis evaluates the impact of synthetic brightfield microscopy images on object detection models in single cell detection tasks. Reliably detecting and analyzing individual cells in microscopy images is a critical task in many biological and medical applications. Deep learning models have shown great promise in automating cell detection tasks, but their performance is heavily dependent on the availability of large, diverse, and accurately labeled datasets. But acquiring high-quality microscopy images is expensive and time-consuming, making it challenging to obtain large-scale datasets for training. To address this issue, generative models can be used to create synthetic microscopy images that closely resemble real images. By training unconditional diffusion models on a dataset of real brightfield microscopy images, this study generates synthetic images to augment the training data. The performance of object detection models trained on datasets containing varying proportions of synthetic data is then evaluated on real test data. The results show that these diffusion models are able to generate realistic and high-quality synthetic images that are difficult to distinguish from real images. State-of-the-art object detection models trained on this synthetic data achieve comparable performance to those trained on real data only, particularly at lower IoU thresholds. However, the performance gap slightly widens at higher IoU thresholds and increased percentages of synthetic data. The findings show that synthetic images can be used to train object detection models for single cell detection tasks, offering a promising approach to overcoming the challenges of dataset acquisition and annotation in biological research.