KI-Halluzinationen vermeiden mit Belegpflicht

Eine KI-Halluzination ist eine Antwort eines Sprachmodells, die überzeugend klingt, aber nicht stimmt: ein erfundener Wert, eine falsche Quelle, eine geratene Zahl. In Unternehmen vermeidet man sie nicht mit besseren Formulierungen im Prompt, sondern mit einer Regel, die wir Belegpflicht nennen: Der Agent antwortet nur mit Beleg aus Ihren Daten, und ohne Beleg fragt er nach.

Warum Sprachmodelle halluzinieren

Ein Sprachmodell schreibt den wahrscheinlichsten nächsten Text. Fragt man es nach dem Gewicht eines Produkts, das es nicht kennt, ist eine plausible Zahl wahrscheinlicher als der Satz „Das weiß ich nicht“. Das Modell lügt nicht, es füllt eine Lücke. Gefährlich wird das, wenn die Antwort an einen Kunden geht oder in ein System geschrieben wird.

Drei Situationen erzeugen die meisten Halluzinationen im Geschäftsalltag:

Der Wert fehlt in den Daten, und das Modell ergänzt ihn aus dem Allgemeinwissen.
Zwei Quellen widersprechen sich, und das Modell wählt eine, ohne es zu sagen.
Die Frage ist enger als die Daten, etwa nach einer Variante, die nur in einem Datenblatt steht.

Belegpflicht: die Regel in drei Teilen

Antworten nur aus abgerufenen Daten. Der Agent liest vor jeder Antwort in PIM, ERP oder Dokumenten nach. Allgemeinwissen dient zum Verstehen der Frage, nicht als Quelle für Werte.
Jede Aussage mit Quelle. Zu jedem Wert gehört die Fundstelle: Artikelnummer und Merkmal, Dokument und Seite. Ein Mensch kann jede Antwort in Sekunden nachprüfen.
Ohne Beleg keine Zahl. Fehlt der Beleg, fragt der Agent nach oder gibt die Frage an eine zuständige Person weiter. Eine Schätzung ist keine erlaubte Antwort.

So sieht eine Antwort mit Beleg aus

Ein Kunde fragt nach einem LED-Panel (erfundenes Beispiel). Links die Antwort eines Modells ohne Datenzugriff, rechts die eines Agenten mit Belegpflicht:

Frage	Ohne Belegpflicht	Mit Belegpflicht
Passt es in 6 cm Einbautiefe?	„Ja, die meisten Panels sind flach genug.“	„Ja, es braucht 48 mm.“ Quelle: PIM, Merkmal Einbautiefe
Ist es mit DALI dimmbar?	„Ja.“	„Nur die Variante mit D am Ende.“ Quelle: Datenblatt S. 1
Wie lange hält es?	„Etwa 50.000 Stunden.“	„Dazu liegt kein geprüfter Wert vor. Ich frage im Produktmanagement nach.“

Die dritte Antwort ist die wichtigste. Sie klingt weniger kompetent und ist die einzige, die keinen Schaden anrichten kann. Den Ablauf sehen Sie als Live-Demo auf unserer Startseite, Ablauf 3.

Wie das technisch aufgebaut ist

Lesezugriff auf die Quellen: Der Agent bekommt über Schnittstellen Zugriff auf PIM, ERP und Dokumentenablage, nur lesend und nur auf das, was der Ablauf braucht.
Abruf vor der Antwort: Bei Fragen zu Texten findet Retrieval (RAG) die passenden Stellen, bei Fragen zu Werten fragt der Agent das System direkt über ein Werkzeug ab. Wie RAG funktioniert, steht in Was ist RAG?.
Prüfung vor der Ausgabe: Ein zweiter Schritt prüft, ob jede Aussage eine Quelle hat. Aussagen ohne Quelle werden gestrichen oder als offene Frage markiert.
Messung: Ein Evaluation-Set aus echten Fragen zeigt, wie oft der Agent richtig antwortet, richtig „weiß ich nicht“ sagt und wie oft er trotzdem etwas erfindet.

Was bei Widersprüchen passiert

Widersprechen sich zwei Quellen, etwa 36 Watt im PIM und 40 Watt im Datenblatt, wählt der Agent keine davon. Er legt den Widerspruch der Person vor, der die Daten gehören, mit beiden Fundstellen. Erst nach deren Entscheidung gilt ein Wert.

Das klingt nach Mehrarbeit und ist das Gegenteil. Widersprüche stehen heute schon in den Daten, nur sieht sie niemand, bis ein Kunde sich beschwert. Ein Agent mit Belegpflicht macht sie sichtbar, sortiert nach Produktgruppe und Umsatz. Welche Fehler dabei typisch sind, zeigen 9 Produktdatenfehler, die KI-Agenten finden.

Woran Sie einen belastbaren Agenten erkennen

Prüfung	Belastbar	Nicht belastbar
Quelle	nennt zu jedem Wert die Fundstelle	antwortet ohne Quelle
Wissenslücke	sagt „liegt nicht vor“ und fragt nach	antwortet immer
Widerspruch	zeigt beide Werte, entscheidet nicht	wählt still einen
Aktion	schreibt erst nach Freigabe	schreibt sofort
Messung	Fehlerquote aus einem Evaluation-Set	„funktioniert in der Demo“

FAQ

Kann man Halluzinationen ganz verhindern? Nicht vollständig, aber man kann sie eingrenzen und auffangen: durch Antworten nur aus abgerufenen Daten, eine Quellenprüfung vor der Ausgabe und Freigaben vor jeder Aktion, die etwas verändert.

Hilft RAG gegen Halluzinationen? RAG liefert dem Modell die passenden Textstellen, das senkt die Quote deutlich. Ohne die Regel „keine Aussage ohne Quelle“ ergänzt das Modell fehlende Werte aber weiterhin. RAG ist die Grundlage, die Belegpflicht die Regel darüber.

Welches Modell halluziniert am wenigsten? Die Modellwahl zählt weniger als Datenzugriff und Regel. Welches Modell für Ihre Fragen am besten passt, zeigt ein Evaluation-Set aus Ihren echten Fällen, nicht eine allgemeine Rangliste.

Was bringt eine Antwort, die „weiß ich nicht“ sagt? Sie verhindert einen falschen Wert beim Kunden und zeigt eine Lücke in Ihren Daten. Gesammelt ergibt das eine Liste, die das Produktmanagement abarbeiten kann.

Wie sich Antworten aus den eigenen Inhalten anfühlen, zeigt die kostenlose Demo Chat With Your Website. KI-Agenten für Unternehmen mit Belegpflicht, angebunden an Ihr PIM, ERP und Ihre Dokumente, bauen wir zum Festpreis.