Masked Autoencoder: Influence of Self-Supervised Pretraining on Object Segmentation in Industrial Images

Abstract

Die Menge der gelabelten Daten ist in industriellen Anwendungsfällen häufig gering, da der Annotierungs-prozess zeit- und kostenaufwändig ist. In der Forschung wird zunehmend self-supervised Pretraining z. B. mit Masked Autoencodern (MAE) angewandt, um Segmentierungsmodelle mit weniger Labeln zu trainieren. In der vorliegenden Masterthesis wird daher der Einfluss des MAE-Pretrainings auf die Label-Effizienz für die semantische Segmentierung mit U-Net Transformers am Beispiel von Holzplatzkränen analysiert. Zusätzlich wird Transfer Learning in Bezug auf den Krantyp und die Perspektive im Kontext der Label-Effizienz betrachtet. Die Ergebnisse zeigen, dass der MAE erfolgreich anwendbar ist und die Label-Effizienz erhöht. Der stärkste positive Einfluss wird bei allen Experimenten in den niedrigeren Labelmengen gefunden. Der höchste Effekt wird beim Transfer Learning in Bezug auf Kräne erzielt, wobei die IoU und der Recall um 4,31% bzw. 8,58% verbessert werden. Weitere Analysen zeigen, dass die Erhöhung der Label-Effizienz aus einer besseren Unterscheidung zwischen dem Hintergrund und den segmentierten Kranobjekten resultieren.

The amount of labeled data in industrial use cases is limited because the annotation process is time-consuming and costly. In research, self-supervised pretraining such as Masked Autoencoder (MAE) are used to train segmentation models with fewer labels. Therefore, this master thesis analyses the influence of MAE pretraining on the labelefficiency for semantic segmentation with U-Net Transformers. This is investigated for the use case of log-yard cranes. Additionally, two transfer learning cases with respect to crane type and perspective are considered in the context of label-efficiency. The results show that MAE is successfully applicable and increases label-efficiency. The strongest positive influence is found for all experiments in the lower label amounts. The highest effect is achieved with transfer learning regarding cranes, where IoU and Recall increase by 4.31% and 8.58 %, respectively. Further analyses show that improvements result from a better distinction between the background and the segmented crane objects.