Was ist eine KI-Halluzination?

Einfach erklärt

Ein Sprachmodell schreibt manchmal Sätze, die überzeugend klingen und falsch sind: ein Urteil mit Aktenzeichen, das es nicht gibt, eine erfundene Quelle, eine falsche Frist. Das nennt man Halluzination. Denken Sie an einen Prüfling in der Klausur, der lieber rät, als ein Feld leer zu lassen. Ein leeres Feld bringt sicher keinen Punkt, ein geratenes vielleicht einen. Sprachmodelle verhalten sich oft ähnlich. Sie geben eine Antwort, auch wenn sie keine verlässliche haben.

Warum das passiert

Ein Sprachmodell schlägt nicht nach, sondern setzt Text so fort, wie es nach seinem Training wahrscheinlich passt. Häufig belegtes Wissen trifft es meist gut. Bei seltenen Angaben wie einem Geburtstag, einer Artikelnummer oder einer Telefonnummer klingt eine erfundene Antwort genauso plausibel wie die richtige. Dazu kommt: Bei vielen Tests, mit denen Modelle verbessert werden, zählt „weiß ich nicht“ so wenig wie eine falsche Antwort.

Woran Sie es im Betrieb merken

• genaue Angaben zu Daten, Beträgen, Paragrafen oder Namen ohne Quelle
• Quellenangaben, die es beim Nachschlagen nicht gibt
• eine schlüssig klingende Begründung für ein falsches Ergebnis
• unterschiedliche Antworten auf dieselbe Frage

Was hilft und was bleibt

• Antworten an Ihre Unterlagen binden. Das Modell bekommt die passenden Textstellen mitgeliefert, siehe RAG.
• Felder statt Fließtext. Wer Rechnungsnummer, Betrag und Datum aus festen Feldern liest, muss sie nicht aus Text erraten lassen, siehe strukturierte Daten.
• „Weiß ich nicht“ erlauben. Sagen Sie im Prompt ausdrücklich, dass das Modell Unsicherheit zugeben soll.
• Stichproben und Freigabe. Was den Betrieb verlässt, prüft vorher ein Mensch.

Ehrlich gesagt: Halluzinationen lassen sich verringern, nicht ausschließen. So steht es auch in der Dokumentation von Modellanbietern wie Anthropic.

Begriff und Ursache

Das Machine-Learning-Glossar von Google definiert Halluzination als plausibel wirkende, aber sachlich falsche Ausgabe eines generativen Modells. NIST AI 600-1 (Juli 2024) spricht von Konfabulation: Generative Systeme erzeugen falsche Inhalte und präsentieren sie selbstsicher. Dazu zählen auch Ausgaben, die vom Prompt abweichen oder früheren Aussagen im selben Kontext widersprechen. NIST nennt das eine natürliche Folge des Aufbaus. Die Modelle bilden die statistische Verteilung ihrer Trainingsdaten nach, LLMs sagen das nächste Token voraus.

Kalai et al. („Why Language Models Hallucinate“, arXiv 2509.04664, 2025) führen Halluzinationen auf Fehler einer binären Klassifikation zurück. Für willkürliche Fakten ohne erlernbares Muster liegt die Halluzinationsrate eines Basismodells mindestens beim Anteil der Fakten, die im Training genau einmal vorkamen. Kommen 20 Prozent der Geburtstage nur einmal vor, sind mindestens 20 Prozent falsche Antworten zu erwarten. Dass Halluzinationen das Post-Training überstehen, liegt laut den Autoren an der Bewertung: Wird binär mit 0 und 1 bewertet, lohnt sich Raten immer.

Gegenmaßnahmen

Sinngemäß nach den Empfehlungen von Anthropic:

Nur anhand der Dokumente in <dokumente> antworten.
Zuerst die gestützten Stellen wörtlich zitieren.
Gibt es keine passende Stelle: "Dazu steht nichts in den Unterlagen."
Danach jede Aussage prüfen und ohne stützendes Zitat streichen.

Dazu kommt Best-of-N: denselben Prompt mehrfach ausführen und die Antworten vergleichen. Abweichungen deuten auf Halluzinationen. Anthropic schreibt ausdrücklich, dass diese Techniken Halluzinationen deutlich verringern, aber nicht ganz beseitigen. Auch RAG senkt sie laut Kalai et al. nur. Findet die Suche nichts Verlässliches, belohnt binäre Bewertung weiterhin Raten.

Typische Fehler

• Quellenangabe als Beleg genommen. NIST warnt vor konfabulierten Begründungen und Zitaten, die eine Antwort stützen sollen.
• Schema mit Wahrheit verwechselt. Strukturierte Ausgaben sichern das Format zu, nicht die Werte. Ein gültiges E-Mail-Feld kann eine falsche Adresse enthalten. Werte gegen Stammdaten abgleichen.
• Automation Bias. NIST beschreibt übermäßiges Vertrauen in automatische Ergebnisse als Verstärker des Risikos. Freigaben brauchen eine echte Prüfung, keinen Klick.
• „Weiß nicht“ im eigenen Test bestraft. Wer Antworten nur auf richtig oder falsch bewertet, erzieht zum Raten. Kalai et al. schlagen vor, eine Vertrauensschwelle in die Aufgabe zu schreiben und falsche Antworten mit Abzug zu bewerten.
• Nur eine Stichprobe. Anthropic empfiehlt Testfälle, die die echte Verteilung samt Grenzfällen abbilden, und lieber viele automatisch bewertete Fälle als wenige von Hand.