Implementierung einer Tensor Processing Unit mit dem Fokus auf Embedded Systems und das Internet of Things

Abstract

Maschinelles Lernen findet immer mehr Anwendung in unserem Alltag, aber auch sicherheitskritische Systeme werden immer häufiger mit ML-Verfahren ausgestattet. Diese Arbeit gibt einen Einblick in die Realisierung eines Machine-Learning-Co-Prozessors für Embedded Systems und IoT-Geräte. Dabei wurde eine skalierbare Architektur mit Anlehnung an Google’s Tensor Processing Units umgesetzt. Kleinere Systeme können so mit diesem Beschleuniger ausgestattet werden und neben der parallelen Ausführung von ML-Modellen noch andere Echtzeitaufgaben übernehmen.

Machine learning is more and more applied in our everyday life, but also safety critical systems are increasingly equipped with ML procedures. This paper gives an insight into the implementation of a machine learning co-processor for embedded systems and IoT devices. A scalable architecture based on Google’s Tensor Processing Units was implemented. This allows smaller systems to be equipped with this accelerator and to perform other real-time tasks in addition to the parallel execution of ML models.