Methoden zur Evaluierung von RAG-Systemen und Analyse der Grenzen, Faktoren und Implikationen für den praktischen Einsatz

Abstract

Moderne Sprachmodelle haben in den vergangenen Jahren gezeigt, dass sie als textbasierte Assistentensysteme sehr gut funktionieren. Jedoch stellt für die Modelle weiterhin die Herausforderung dar, auf der Basis verschiedener Fragen vernünftige, konsistente und kontextbezogene Antworten zu generieren. Eine mögliche Verbesserung, um diesem Problem entgegenzuwirken, ist der Aufbau sogenannter RAG-Systeme (Retrieval-Augmented Generation), die einem Sprachmodell spezifischen, relevanten und thematisch passenden Kontext zu einer Frage bereitstellen. Untersuchungen haben zunächst gezeigt, dass es viele verschiedene Metriken gibt, um die Präzision und Leistungsfähigkeit dieser Systeme zu bewerten. Mit den verschiedenen Metriken und einem Datensatz zur Auswertung von Sprachmodellen sowie RAG-Systemen wurde ein umfassender Test entwickelt, um diese Systeme systematisch und objektiv zu evaluieren. Verschiedene Sprachmodelle sowie RAG-Systeme wurden mit diesem Test ausführlich getestet. Anhand der Untersuchungen konnte gezeigt werden, dass die Präzision der Sprachmodelle steigt, sobald sie einen spezifischen Kontext zu einer Frage erhalten. Dies bedeutet, dass RAG-Systeme im Vergleich zu reinen Sprachmodellen in der Regel generell präziser sind.

Modern language models have shown in recent years that they work very well as text-based assistant systems. However, these models still face the challenge of generating reasonable, consistent, and context-related answers based on various questions. A possible improvement to counteract this problem is the development of so-called RAG systems (Retrieval-Augmented Generation), which provide a language model with specific, relevant, and thematically appropriate context for a question. Research has initially shown that there are many different metrics to evaluate the precision and performance of these systems. Using various metrics and a dataset to evaluate language models and RAG systems, a comprehensive test was developed to systematically and objectively assess these systems. Various language models and RAG systems were extensively tested with this test. The tests showed that the precision of the language models increases as soon as they are given specific context for a question. This means that RAG systems are generally more precise than pure language models.