Controlling Insulin Delivery in Type 1 Diabetes: A Deep Reinforcement Learning Approach

Abstract

Viele Forschende verfolgen das Ziel, Diabetikern eine interventionsfreie Diabetes-Therapie zu ermöglichen. In den letzten Jahren hat die Entwicklung einer technischen künstlichen Bauchspeicheldrüse immer mehr an Bedeutung gewonnen. Fortschritte im Verständnis von Diabetes und eine vollständige Überwachung des Blutzuckerspiegels tragen wesentlich zum Fortschritt bei. Um die Entwicklung einer künstlichen Bauchspeicheldrüse zu unterstützen, ist es notwendig, sich mit der Entwicklung eines Algorithmus zu beschäftigen, der die Insulinabgabe in Abhängigkeit von den Stoffwechselfaktoren eines Patienten steuert. In dieser Arbeit wird die Entwicklung und in silico Evaluation eines Algorithmus zur Insulinabgabe auf Basis von Deep Q-Learning vorgestellt. Zunächst wird ein PID Controller vorgestellt und evaluiert. Darauf folgend wird untersucht, wie sich das Skalieren des Eingabevektors auf die Time-In-Range (TIR) eines simulierten Patienten auswirkt. Zudem wird untersucht, ob die Verwendung von Insulin-On-Board (IOB) als Parameter für die Insulinabgabe geeignet ist. Es wird auch evaluiert, wie unterschiedliche Konfigurationen des Action-Spaces und der Sequenzlänge die Time-In-Range (TIR) der simulierten Patienten verbessern. Das Skalieren des Eingabevektors führt zu einer Veränderung der Time-In-Range (TIR) von 52:24%±15:81 zu 50:62%±12:9. Unter Einbezug von Insulin-On-Board (IOB) zeigen die Ergebnisse eine deutliche Verbesserung der Time-In-Range (TIR) der simulierten Patienten von 50:62%±12:9 zu 57:71% ±12:12. Die Evaluation eines größeren Action-Spaces zeigt eine Reduktion der Standardabweichung der Time-In-Range (TIR) von 57:71% ±12:12 zu 57:57% ±7:18. Darüber hinaus wird ein Ausblick gegeben, welche weiteren auf dieser Arbeit aufbauenden Forschungsaktivitäten zur kontinuierlichen Entwicklung einer künstlichen Bauchspeicheldrüse geplant sind.

Many researchers are pursuing the goal of enabling intervention-free diabetes therapy for diabetics. In recent years the development of a technical artificial pancreas has become more and more important. Advances in understanding diabetes and a complete monitoring of the blood sugar level contribute significantly to progress. To support the development of an artificial pancreas it is necessary to deal with the development of an algorithm that controls the insulin delivery depending on the metabolic factors of a patient. In this thesis the development and in silico evaluation of an insulin delivery algorithm based on Deep Q-Learning is presented. First, a PID controller is presented and evaluated. Subsequently, it is investigated how scaling the input vector affects the Time-In-Range (TIR) of a simulated patient. In addition, the suitability of using Insulin-On- Board (IOB) as a parameter for insulin delivery is investigated. It will also be evaluated how different configurations of action space and sequence length improve the Time-In-Range (TIR) of simulated patients. Scaling the input vector leads to a change in Time-In-Range (TIR) from 52:24% 15:81 to 50:62% 12:9. Including Insulin-On-Board (IOB), results show a significant improvement in Time-In-Range (TIR) of simulated patients from 50:62% 12:9 to 57:71% 12:12. Evaluation of a larger action space shows a reduction of the standard deviation in Time-In-Range (TIR) from 57:71% ±12:12 to 57:57%± 7:18. Furthermore, an outlook is given on which further research activities based on this work are planned for the continuous development of an artificial pancreas.