Retrieval Augmented Generation mit Website-Kontext - Analyse der Auswirkung von zusätzlichem Website-Kontext auf die Antwortqualität

Abstract

Bei Retrieval Augmented Generation (RAG) wird ein generativer Prozess durch abgerufene Infor-mationen aus einer externen Wissensquelle ergänzt. In dieser Arbeit wird der Frage nachgegangen, ob die Antworten von einem RAG-System für einen Benutzer hilfreicher sind, falls dem RAG wei-tere Informationen von der Weboberfläche zur Verfügung gestellt werden. Dafür werden zwei RAG-Systeme erstellt. An die beiden RAG-Systeme können individuell über eine Website Fragen gestellt werden. Eines der RAG-Systeme bekommt für die Beantwortung der Frage von der Website weitere Informationen, während das andere RAG-System von der Website nur die Frage bekommt. Die beiden RAG-Systeme werden mithilfe von verschiedenen Metriken miteinander verglichen. Für die Evaluierung der RAG-Systeme wurden unter anderem die Metriken BERTScore und ROUGE Score verwendet. Damit die Evaluierungen durch die Metriken durchgeführt werden kön-nen, wurden eigene zusammengehörende Frage-Antwort Paare gebildet auf Basis des Textes, der auch als Wissensbasis von den beiden RAG-Systemen verwendet wird. Im Fall von ROUGE-1 konnte eine Steigerung durch das RAG-System mit Website-Kontext um 91,13% gemessen werden und bei dem F1-Score von dem BERTScore konnte eine Steigerung von 13,83% gemessen werden. Das legt nahe, dass die Antworten des RAG-Systems mit Website-Kontext hilfreicher sind, aber vor allem wörtlich näher an den Referenzantworten liegen.

In Retrieval Augmented Generation (RAG), a generative process is supplemented by retrieved In-formation from an external knowledge source. In this paper is the question examined of whether the answers of a RAG system are more helpful for a user, if the RAG system gets additional infor-mation from the web interface. Therefore, two RAG systems are created. Both RAG systems can be queried individual from a website. One of the two RAG systems gets for answering the question from the website additional information, while the other RAG system gets only the question from the website. The two RAG systems get compared with each other using different metrics. For the evaluation of the RAG systems, metrics such as BERTScore and ROUGE Score were used. For the evaluation to be performed using the metrics, own related question-answer pairs were created based on the text, which is also used as a knowledge base for the two RAG systems. In the case of ROUGE-1, an increase of 91.13% was measured through the RAG system with website-context, and the F1Score of the BERTScore measured an increase of 13.83%. That suggests that the answers of the RAG system with website-context are more helpful but mostly are closer in the wording to the reference answers.