Optimierung und Evaluation der Retrieval-Qualität in lokalen RAG-Systemen

Abstract

Retrieval-Augmented Generation (RAG) ist eine Methode, um Large Language Models mit externen Daten zu erweitern. Die Qualität und der Energieverbrauch einer RAG-Pipeline werden von verschiedenen Komponenten und Parametern beeinflusst. Ziel dieser Arbeit ist es, diese Parameter zu untersuchen und die Qualität der RAG-Pipeline zu optimieren. Dabei konzentriert sich diese Arbeit auf Parameter, die für die Retrieval-Qualität relevant sind. Es werden unterschiedliche Chunking-Konfigurationen, Embedding-Modelle und Retrieval- Verfahren auf einer lokalen RAG-Pipeline untersucht. Als Datengrundlage wird eine deutsche Dissertation verwendet, zu der ein Golden Set mit Fragen und Referenzantworten erstellt wurde. Zum Bewerten werden Metriken vom Test-Framework RAGAS verwendet. Zusätzlich wird der Energieverbrauch gemessen. In dem untersuchten Anwendungsfall zeigen die Ergebnisse, dass größere Chunks bessere Gesamtscores als kleinere Chunks erzielen. Außerdem führt eine Überlappung von Chunks zu keiner Verbesserung des Gesamtscores, erhöht jedoch den Energieverbrauch. Semantisches Chunken wies ebenfalls einen deutlich erhöhten Energieverbrauch auf, erzielte jedoch niedrigere Gesamtscores. Die Konfiguration mit dem höchsten Gesamtscore ist die mit dem rekursiven Chunker, dem BAAI/bge-m3-Embedder und dem Dense-Retrieval. Der Energieverbrauch von dem BAAI/bgem3- Embedder ist aber deutlich höher im Vergleich zu den anderen Embedding-Modellen. Für eine lokale RAG-Pipeline bietet die Konfiguration mit der rekursiven Chunking-Methode, dem intfloat/multilingual-e5-base-Embedder und dem Dense-Retriever den besseren Kompromiss zwischen Gesamtscore und Energieverbrauch. Die Ergebnisse gelten nur für den untersuchten Anwendungsfall und sind aufgrund der ausgewählten Datengrundlage und des begrenzten Golden Sets nicht auf andere RAG-Pipelines übertragbar.

Retrieval-Augmented Generation (RAG) is a method that extends Large Language Models with external data. The quality and energy consumption of a RAG pipeline are affected by different components and parameters. The aim of this thesis is to examine these parameters and optimize the quality of the RAG pipeline. This thesis focuses on parameters that are relevant to retrieval quality. Different chunking configurations, embedding models, and retrieval methods are examined in a local RAG pipeline. The data basis comes from a German dissertation, for which a golden set with questions and reference answers was created. Metrics from the RAGAS evaluation framework are used for the evaluation and in addition, energy consumption is measured. For the examined use case, the results show that larger chunks achieve better overall scores than smaller chunks. furthermore, chunk overlap does not improve the overall score, but increases energy consumption. Semantic chunking also showed significantly higher energy consumption, but achieved lower overall scores. The configuration with the highest overall score is the recursive chunker with the BAAI/bge-m3 embedder and dense retrieval. But the energy consumption of the BAAI/bge-m3 embedder is significantly higher compared to the other embedding models. For a local RAG pipeline, the configuration with the recursive chunking method, the intfloat/multilingual-e5-base embedder, and the dense retriever offers a better compromise between overall score and energy consumption. The results only apply to the examined use case and cannot be transferred to other RAG pipelines due to the selected data basis and the limited golden set.