Was ist RAG?

Einfach erklärt

Stellen Sie sich eine neue Kollegin vor, die viel weiß, Ihren Betrieb aber nicht kennt. Fragen Sie sie nach der Kündigungsfrist im Wartungsvertrag mit der Firma Müller, kann sie nur raten. Gibt man ihr vorher den passenden Ordner, schlägt sie nach und antwortet mit Seitenangabe. Retrieval Augmented Generation, kurz RAG, ist dieses Nachschlagen für ein Sprachmodell. Ein Programm sucht zur Frage die passenden Stellen in Ihren Dokumenten und gibt sie dem Modell zusammen mit der Frage. Das Modell formuliert die Antwort aus diesen Stellen und nennt sie als Quelle.

Woran Sie RAG im Betrieb erkennen

Ein Assistent, der Fragen zu Ihren Handbüchern, Verträgen oder Tickets beantwortet und unter der Antwort die Fundstellen verlinkt, arbeitet in der Regel so. Das Modell selbst lernt dabei nichts dazu. Kommt ein neues Dokument hinzu, wird es in die Suche aufgenommen und steht für die nächste Frage bereit.

Was Sie vorher klären

• Welche Dokumente hinein dürfen. Nur was aktuell und richtig ist. Eine veraltete Preisliste führt zu veralteten Antworten.
• Wer was sehen darf. Die Suche darf nur Dokumente finden, die der Fragende auch im Original öffnen dürfte. Sonst steht die Gehaltsliste plötzlich in einer Antwort für die Werkstatt. Grundlage sind Ihre Rollen und Rechte.
• Wo verarbeitet wird. Frage und gefundene Abschnitte gehen an das Sprachmodell. Läuft es bei einem Cloud-Anbieter, ist das eine Auftragsverarbeitung wie jede andere.

Fragen Sie Ihren IT-Dienstleister, welche Ablagen angebunden werden und wie die Zugriffsrechte dorthin gelangen.

Was RAG nicht leistet

Findet die Suche den falschen Abschnitt, ist auch die Antwort falsch, nur eben mit Quellenangabe. Prüfen Sie bei wichtigen Fragen die verlinkte Stelle. RAG passt zu Fragen, deren Antwort in wenigen Absätzen steht. Fragen über viele Dokumente hinweg, etwa „Welche Verträge laufen im nächsten Quartal aus?“, beantwortet ein Feld in der Ablage besser als jede Textsuche. Wie das geht, erklären Metadaten und strukturierte Daten. RAG gibt dem Modell etwas zum Nachschlagen. Das Verhalten des Modells ändert dagegen Fine-Tuning.

Aufbau einer RAG-Pipeline

Lewis et al. (2020) verbinden das parametrische Gedächtnis eines vortrainierten Modells mit einem nichtparametrischen Gedächtnis, im Paper ein dichter Vektorindex über Wikipedia, den ein neuronaler Retriever abfragt. Als offene Probleme rein parametrischer Modelle nennen sie, die Herkunft einer Aussage zu belegen und das Wissen aktuell zu halten. Eine Anwendung arbeitet in zwei Phasen:

1. Indexierung: Dokumente in Abschnitte zerlegen (Chunking), jeden Abschnitt mit einem Embedding-Modell in einen Vektor umrechnen, Vektor, Text und Metadaten in einer Vektordatenbank ablegen. Text Splitter zerlegen große Dokumente so, dass die Teile einzeln auffindbar sind und ins Kontextfenster passen.
2. Abfrage: Frage einbetten, die ähnlichsten Abschnitte suchen, sie mit Frage und Anweisung im Prompt übergeben, Antwort mit Verweis auf die Abschnitte ausgeben.

Beispiel mit Rechtefilter

Mit pgvector in PostgreSQL steht der Rechtefilter in derselben Abfrage wie die Ähnlichkeitssuche. <=> ist der Kosinusabstand.

SELECT a.dokument_id, a.text
FROM abschnitte a
WHERE a.dokument_id IN (SELECT dokument_id FROM leserechte WHERE benutzer = $1)
ORDER BY a.embedding <=> $2
LIMIT 5;

Typische Fehler

• Rechte nicht übernommen. OWASP führt in den Top 10 für LLM-Anwendungen 2025 unter LLM08 unberechtigten Zugriff und Datenabfluss über Embeddings auf und empfiehlt feingranulare Zugriffskontrolle und berechtigungsbewusste Vektorspeicher.
• Zu wenige Treffer nach dem Filter. Bei pgvector greift ein Filter mit HNSW-Index erst nach dem Indexscan. Passt der Filter auf 10 Prozent der Zeilen, bleiben beim Standardwert hnsw.ef_search = 40 im Schnitt 4 Treffer. Ab Version 0.8.0 hilft hnsw.iterative_scan.
• Ungeprüfte Quellen im Index. OWASP LLM08 nennt Data Poisoning. Wer Dokumente in den Index bringt, steuert die Antworten mit, siehe Prompt Injection.
• Aggregation als Ähnlichkeitssuche. „Alle Verträge mit Ende im ersten Quartal“ ist eine Abfrage über ein Datumsfeld. Eine Suche mit LIMIT 5 liefert fünf ähnliche Abschnitte, nicht alle Verträge.
• Index nicht nachgeführt. Wer gelöschte oder geänderte Dokumente nicht auch im Index entfernt, liefert weiter die alten Abschnitte.

Prüfen und Abgrenzung

Eine Liste von Testfragen mit bekannter Antwort und Fundstelle anlegen und nach jeder Änderung an Chunking, Embedding-Modell oder Index prüfen, ob die richtige Stelle unter den Treffern ist. Die Microsoft-Dokumentation zu Fine-Tuning hält fest, dass Fine-Tuning das Retrieval für aktuelle Informationen nicht ersetzt. Als ein mögliches Ziel von Fine-Tuning nennt sie, abgerufenen Kontext besser zu nutzen. Beide Verfahren lassen sich also kombinieren.