Halluzination

Als Halluzination wird eine sachlich falsche oder erfundene Modellausgabe bezeichnet, die sprachlich plausibel wirkt.

Das Risiko liegt darin, dass sich der Ton häufig nicht von einer korrekten Antwort unterscheidet. So kann ein Modell Quellen, Gesetzeszitate oder Produktfunktionen nennen, die nicht existieren, ohne erkennbare Unsicherheit auszudrücken.

Warum Sprachmodelle überhaupt halluzinieren

Ein Sprachmodell erzeugt Text, indem es wahrscheinliche nächste Token aus gelernten Mustern ableitet. Es prüft dabei nicht automatisch, ob eine Aussage wahr oder durch eine Quelle belegt ist.

Bei fehlendem, widersprüchlichem oder sehr spezifischem Kontext kann deshalb eine plausible, aber sachlich falsche Antwort entstehen. Das Risiko gehört zur Funktionsweise generativer Modelle und lässt sich nicht durch eine einzelne Korrektur beseitigen.

Maßnahmen gegen Halluzinationen

Das Risiko lässt sich durch mehrere Maßnahmen verringern. RAG stellt dem Modell passende Quellen zur Verfügung; klare Anweisungen fördern den Umgang mit Unsicherheit.

Automatisierte Prüfungen können Aussagen zusätzlich mit bekannten Fakten oder Quellen abgleichen. Wie gut diese Maßnahmen wirken, hängt vom Anwendungsfall und ihrer Umsetzung ab. Keine einzelne Kontrolle beseitigt das Risiko vollständig.

Wo menschliche Prüfung unverzichtbar bleibt

Bei Anwendungsfällen mit hohen möglichen Folgen reichen technische Kontrollen allein nicht aus. Guardrails sollten dann eine fachkundige Prüfung vor der weiteren Verwendung vorsehen.

Legen Sie vor dem Einsatz fest, welche Auswirkungen eine falsche Ausgabe haben kann. Daran richten sich Freigabeschritte, Kennzeichnung und erforderliche Prüftiefe aus.