Was ist RAG? Einfach erklärt

Retrieval-Augmented Generation (RAG) ist ein Verfahren, mit dem ein Sprachmodell aus einem bestimmten Bestand an Dokumenten antwortet: Bevor das Modell schreibt, findet ein Suchschritt die relevanten Abschnitte, und das Modell antwortet auf deren Grundlage und nennt sie als Quelle. Das Modell liefert die Sprache, Ihre Dokumente liefern die Fakten.

Genau deshalb ist RAG der Standard für Unternehmenswissen: Handbücher, Richtlinien, Produktdaten, Verträge, Support-Historie.

RAG arbeitet in zwei Phasen: Indexieren und Antworten

Indexiert wird vorab und erneut, sobald sich Dokumente ändern:

Sammeln der Quellen: Seiten, PDFs, Tickets, Wiki-Artikel.
Zerlegen in Abschnitte (Chunks) von einigen hundert Wörtern, jeweils mit Titel, URL und Datum.
Einbetten jedes Abschnitts: Ein Modell wandelt ihn in einen Vektor um, eine Zahlenliste, in der ähnliche Bedeutungen nah beieinander liegen.
Speichern der Vektoren in einem Vektorindex.

Geantwortet wird pro Frage:

Frage einbetten, auf dieselbe Weise.
Abrufen der nächstgelegenen Abschnitte, meist der besten 4 bis 10.
Generieren: Das Modell erhält die Frage plus diese Abschnitte, mit der Anweisung, nur daraus zu antworten und die verwendete Quelle zu nennen.

Unser Tool Chat mit deiner Website führt genau diese Schleife live aus: Es crawlt eine Website, zerlegt und bettet sie ein und antwortet mit Quellen.

Der Abruf entscheidet über die Qualität der Antwort

Gibt ein RAG-System eine schlechte Antwort, liegt es selten am Modell. Der Abruf hat ihm die falschen Abschnitte geliefert, oder gar keine. Die üblichen Fehlerbilder:

Symptom	Ursache	Lösung
Antwort vage oder allgemein	Abschnitte zu groß, der relevante Satz geht unter	Kleinere Abschnitte, entlang von Überschriften trennen
Antwort ohne Zusammenhang	Abschnitte zu klein, Tabelle halbiert	Überlappung, Tabellen ganz lassen
Antwort veraltet	Index nicht aktualisiert	Bei Änderungen neu indexieren, Datum speichern
Richtiges Dokument, falsche Version	Kein Metadaten-Filter	Nach Produkt, Sprache, Gültigkeit filtern
„Weiß ich nicht“, obwohl es drinsteht	Reine Vektorsuche verfehlt exakte Begriffe	Hybride Suche: Vektoren plus Stichwörter

Saubere Quelldaten zählen so viel wie jeder dieser Punkte. Ein RAG-System über widersprüchlichen Dokumenten antwortet widersprüchlich, und das ist dasselbe Problem, für dessen Lösung es MDM und PIM gibt, nur bei Produktdaten.

RAG, Fine-Tuning oder langes Kontextfenster

Diese drei werden oft verwechselt. Sie lösen verschiedene Probleme:

Ansatz	Was er verändert	Einsetzen, wenn
RAG	Was das Modell beim Antworten weiß	Fakten sich ändern, Quellen belegt werden müssen, viele Dokumente existieren
Fine-Tuning	Wie sich das Modell verhält	Ein festes Format, ein Ton oder eine Fähigkeit gebraucht wird, keine neuen Fakten
Langer Kontext	Wie viel in einen Prompt passt	Wenige Dokumente, einmalige Analysen, Kosten pro Aufruf vertretbar

Für Unternehmenswissen, das sich ändert und nachvollziehbar sein muss, ist RAG die Antwort. Ein Modell per Fine-Tuning mit Fakten zu füttern ist schwer aktuell zu halten und liefert keine Quellen.

Ein produktives RAG-System braucht mehr als die Demo

Eine Demo beantwortet fünf vorbereitete Fragen gut. Ein System, auf das sich Menschen verlassen, braucht:

Ein Evaluations-Set: 50 bis 200 echte Fragen mit bekannten Antworten, bei jeder Änderung neu durchlaufen.
Berechtigungen: Nutzer finden nur, was sie lesen dürfen.
Aktualität: Neu-Indexierung bei Änderungen, mit Datum in der Antwort.
Klickbare Quellen, damit jede Antwort prüfbar ist.
Ablehnungen: „Steht nicht in den Dokumenten“ schlägt eine überzeugte Erfindung.
Monitoring und Kostenkontrolle pro Frage.

Das sind die Teile, die in einem echten Projekt die Wochen kosten. Die ganze Form beschreiben wir in KI-Integration deutscher KMU.

FAQ

Was ist Retrieval-Augmented Generation? Ein Verfahren, bei dem ein Suchschritt relevante Abschnitte aus Ihren eigenen Dokumenten abruft, bevor ein Sprachmodell antwortet, sodass die Antwort auf diesen Abschnitten beruht und sie als Quelle nennen kann.

Wie funktioniert RAG Schritt für Schritt? Dokumente werden zerlegt, als Vektoren eingebettet und gespeichert. Eine Frage wird genauso eingebettet, die nächstgelegenen Abschnitte werden abgerufen, und das Modell antwortet daraus mit Quellenangabe.

Wann ist RAG besser als Fine-Tuning? Wenn sich das Wissen ändert, wenn Antworten auf eine Quelle zurückführbar sein müssen oder wenn es viele Dokumente gibt. Fine-Tuning verändert Verhalten und Format, nicht verlässliche Fakten.

Verhindert RAG Halluzinationen? Es reduziert sie deutlich, wenn der Abruf funktioniert und das Modell angewiesen ist, nur aus den abgerufenen Abschnitten zu antworten und sonst abzulehnen. Ob das klappt, zeigt ein Evaluations-Set.

Wenn Ihr Unternehmenswissen in Dokumenten steckt, die niemand durchsuchen kann, bauen wir daraus ein RAG-System.