Translating User Intent into Robot Instructions : Performance Analysis of Integrating LLMs in an Event-Driven Robotics Control System

Abstract

Neben den Fortschritten in der Robotiksteuerung durch Reinforcement Learning spielen Large Language Modelle (LLMs) eine zunehmend wichtige Rolle bei der Verbesserung der Interaktion zwischen Robotern und Nutzern. Die Aufgabe der LLMs hier besteht darin, eine ausführbare Liste von Anweisungen auszugeben, die die Absichten des Nutzers für den Roboter repräsentieren. Diese Anweisungen werden im Robotik-Steuerungssystem ausgeführt, sodass Nutzer Roboter über natürliche Sprache steuern können. Diese Arbeit schlägt ein Event-Basiertes Transaktionssystem vor, in dem Anweisungen an die Roboter in Form von Transaktionen ausgeführt werden. Diese integrieren Priorisierung und Ressourcen-Leasing, um eine sichere und parallelisierbare Ausführung zu ermöglichen. Das System umfasst eine benutzerzentrierte Oberfläche über einen Chatbot, wo der Nutzer zunächst generierte Anweisungen auswählt. Diese werden auf einem digitalen Zwilling evaluiert und getestet, um eine sichere Ausführung zu gewährleisten, wodurch sich das System besonders für den Einsatz von LLMs eignet. Der Hauptbeitrag dieser Arbeit ist ein verallgemeinerter Integrationsprozess zur Einbindung von LLMs in ein solches Robotik-Kontrollsystem. Die Leistung dieses Ansatzes wird anhand mehrerer LLMs evaluiert, darunter Google’s Gemma2, Meta’s Llama3.1, Mistral’s Nemo und Microsoft’s Phi3. Der Prozess beginnt mit der Definition des Evaluationssets und der Evaluationsmetriken, gefolgt von der Definition und Bewertung von Systemprompts sowie der Verbesserung der Token-Generierung. Anschließend erfolgt das Feintuning der LLMs mittels Low-Rank Adaptation (LoRA), die Einführung eines Few-Shot-Prompting-Ansatzes sowie die abschließende Bewertung der Generierung mehrerer Antworten. Die Ergebnisse zeigen, dass dieser neuartige Ansatz zu einer erfolgreichen Integration der genannten LLMs führt. Die durchschnittliche Bewertung aller Modelle auf dem gesamten Evaluationsset, einschließlich komplexer Aufgaben, konnte von 36% auf 70% des Maximalwerts gesteigert werden. In der Kategorie der grundlegenden Nutzung, die die typische Anwendung durch Nutzer widerspiegelt, wurde eine Verbesserung von 45% auf 86% erreicht.

Next to the advancements in robotics control through reinforcement learning, Large Language Models (LLMs) start to play an important role in improving robot-user interactions. The task for LLMs here is to output a parsable list of instructions, representing the user’s intention for the robot, that will be executed in the robotics control system, allowing users to control robots through natural language. This thesis proposes an eventdriven transaction system, where instructions to the robots are executed in the form of transactions that incorporate priority and resource acquisition to enable safe and concurrent access. It features a user-centric frontend over a chatbot, where the user must first choose translated instructions, which are evaluated and tested on a digital twin to ensure safe execution, making it suitable for the use of LLMs. This thesis’s main contribution is a novel and generalized integration process for integrating LLMs in such a robotics control system and evaluates the performance of this approach using multiple LLMs, including Google’s Gemma2, Meta’s LLama3.1, Mistral’s Nemo, and Microsoft’s Phi3. The process starts with defining the evaluation set and evaluation metric, defining and evaluating system prompts, and improving token generation, followed by fine-tuning the LLMs using Low Rank Adaptation (LoRA), proposing a few-shot prompting approach, and finishing with the evaluation of multi-response generation. The findings show that this novel approach results in a successful integration of the mentioned LLMs, going from 36% to 70% of the maximum score averaged across all LLMs on the total evaluation set, including complex tasks, with an improvement from 45% to 86% on the basic usage category, which resembles the user’s basic usage of the system.