Small data, big challenges : pitfalls and strategies for machine learning in fatigue detection

Abstract

This research addresses the pitfalls and strategies for machine learning with small data sets in the context of sensor-based fatigue detection. It is shown that many existing studies in this area rely on small data sets and that classification results can vary considerably depending on the evaluation method. Our analysis is based on a study with 46 subjects performing multiple sets of squat exercises in a laboratory setting. Data from ratings of perceived exertion, inertial measurement units, and pose estimation were used to train and compare different classifiers. Our findings suggest that commonly used evaluation methods, such as leave-one-subject-out, should be used with caution and may not lead to generalizable classifiers. Furthermore, challenges related to imbalanced data and oversampling are discussed.

Diese Forschung befasst sich mit den Fallstricken und Strategien des maschinellen Lernens mit kleinen Datensätzen im Kontext der sensorgestützten Ermüdungserkennung. Es wird gezeigt, dass viele existierende Studien in diesem Bereich auf kleinen Datensätzen beruhen und dass die Klassifikationsergebnisse je nach Auswertungsmethode erheblich variieren können. Unsere Analyse basiert auf einer Studie mit 46 Probanden, die mehrere Sätze von Kniebeugenübungen in einer Laborumgebung durchführten. Daten aus Bewertungen der wahrgenommenen Anstrengung, Trägheitsmaßeinheiten und Posenschätzung wurden verwendet, um verschiedene Klassifikatoren zu trainieren und zu vergleichen. Unsere Ergebnisse deuten darauf hin, dass häufig verwendete Bewertungsmethoden, wie z.B. Leave-one-subject-out, mit Vorsicht eingesetzt werden sollten und möglicherweise nicht zu verallgemeinerbaren Klassifikatoren führen. Darüber hinaus werden Herausforderungen im Zusammenhang mit unausgewogenen Daten und Oversampling diskutiert.