Retrieval-Augmented Generation (RAG)

Retrieval-Augmented Generation (RAG) ist eine Technik, die die Antworten eines Sprachmodells verbessert, indem relevante Informationen aus einer externen Quelle abgerufen und dem Modell als Kontext bereitgestellt werden, bevor es eine Antwort generiert. Anstatt sich ausschließlich auf das im Training Gelernte zu verlassen, antwortet das Modell anhand von Dokumenten, die zum Zeitpunkt der Query abgerufen werden, sodass seine Ausgabe aktuell, spezifisch und in echten Quellen verankert sein kann.

Kurz gesagt: RAG sucht zunächst relevante Informationen und lässt das Modell dann seine Antwort aus diesem abgerufenen Kontext generieren, wodurch die Antwort in echten Quellen verankert wird und nicht allein auf dem Gedächtnis basiert.

Wie RAG funktioniert

Erstmals in einer Forschungsarbeit aus dem Jahr 2020 vorgestellt, teilt RAG die Arbeit in Vorbereitung und Query-Zeit auf:

1. Wissen vorbereiten: Quelldokumente werden in Chunks aufgeteilt, in Embeddings umgewandelt und in einer Vektordatenbank oder einem Suchindex gespeichert.
2. Retrieval: Wenn eine Query eintrifft, durchsucht das System die Vektordatenbank mithilfe von semantischer, Schlüsselwort- oder einer Kombination aus beiden (d. h. hybrider Suche) und liefert die relevantesten Passagen zurück.
3. Rerank: Ein optionaler Reranking-Schritt ordnet die Kandidaten neu an, sodass die besten Passagen zuerst erscheinen.
4. Augmentieren: Die besten Passagen werden zusammen mit der Frage des Nutzers in den Prompt des Modells (und in dessen Kontextfenster) eingefügt.
5. Generieren: Das LLM verfasst eine Antwort, die in den bereitgestellten Passagen verankert ist, und zitiert dabei häufig seine Quellen.

Die entscheidende Idee ist die Trennung von Wissen und Schlussfolgerung: Das Modell liefert Sprache und Schlussfolgerung, während das Retrieval die Fakten liefert, sodass Wissen aktualisiert werden kann, ohne das Modell neu zu trainieren.

RAG im Vergleich zu Fine-Tuning und einfachen LLMs

• Fine-Tuning integriert neues Wissen fest in die Gewichte des Modells, was kostspielig ist und schnell veraltet; RAG liefert Wissen zum Zeitpunkt der Query, sodass es günstig zu aktualisieren ist und aktuell bleiben kann.
• Ein einfaches LLM antwortet allein anhand von Trainingsdaten, begrenzt durch seine Wissensgrenze und aus vielen Gründen anfällig für Halluzinationen (nicht nur wegen veralteter Trainingsdaten). RAG kann unbelegte Behauptungen reduzieren, indem es Antworten in abgerufenen Quellen verankert und Zitate ermöglicht, beseitigt Halluzinationen jedoch nicht vollständig.
• Standard-RAG ruft einmal ab und generiert dann eine Antwort; die agentische Suche ermöglicht es dem Modell, wiederholt zu suchen und zu verfeinern – eine Kombinationstechnik, die manchmal als „agentisches RAG“ bezeichnet wird.

Wo RAG verwendet wird

• Beantwortung von Fragen über private Daten: Assistenten, die anhand der eigenen Dokumente, Wikis und Tickets eines Unternehmens antworten.
• KI-Antwortmaschinen: Verankerung von Antworten in aktuellen Web-Ergebnissen, damit sie aktuell und zitierbar bleiben.
• Support- und Dokumentationssuche: Bereitstellung der richtigen Passage als Antwort auf eine Frage in natürlicher Sprache.
• Such-APIs als Retrieval-Schicht: Für RAG im Web-Maßstab oder in aktueller Form ist eine Such-API oft das „R“ im Akronym „RAG“ und liefert aktuelle, gerankte Web-Ergebnisse, die zum Kontext des Modells werden. Die Brave Search API bietet Endpunkte (einschließlich eines LLM-Context-Dienstes), die darauf ausgelegt sind, vorab extrahierte, nach Relevanz gerankte Inhalte zur Verankerung zurückzugeben. Abdeckung, Aktualität und Latenz prägen die Antwortqualität direkt.

RAG ist immer dann von Bedeutung, wenn Antworten präzise, aktuell oder spezifisch für Wissen sein müssen, mit dem das Modell nie trainiert wurde – eine häufige Anforderung bei produktiven KI-Assistenten und Antwortmaschinen.

Verwandte Begriffe

Chunking, Embeddings, Vektordatenbank, semantische Suche, hybride Suche, Reranking, Kontextfenster, Halluzination, Wissensgrenze, großes Sprachmodell (LLM), agentische Suche, Such-API.