Halluzination

Eine Halluzination ist eine Ausgabe eines KI-Modells (insbesondere eines umfangreichen Sprachmodells), die falsch, erfunden oder ungegründet ist, aber dennoch flüssig und selbstbewusst so präsentiert wird, als wäre sie wahr. („Ungegründet“ bedeutet in diesem Fall, dass die Ausgabe nicht durch die Trainingsdaten des Modells oder die ihm zur Verfügung gestellten Quellen gestützt wird.) Halluzinationen reichen von erfundenen Zitaten und gefälschten Statistiken bis hin zu plausibel klingenden Details, die keine Quelle tatsächlich stützt, und können auch entstehen, wenn ein Modell veraltete oder unvollständige Quellen falsch liest, falsch zuordnet oder überverallgemeinert.

Kurz gesagt: Eine Halluzination ist eine selbstbewusste, flüssige Ausgabe, die nicht zuverlässig wahr ist – eine Antwort, bei der das Modell eine Lücke mit etwas Plausiblem statt mit etwas Korrektem gefüllt hat.

Wie Halluzinationen entstehen

Ein Sprachmodell sagt wahrscheinlichen Text voraus, nicht verifizierte Fakten, und mehrere Faktoren drängen es zu selbstbewusster Erfindung:

1. Vorhersage, nicht Retrieval: Das Modell generiert statistisch wahrscheinliche Wörter, sodass die Flüssigkeit optimiert wird, während die sachliche Richtigkeit nicht garantiert ist.
2. Wissenslücken: Wenn Trainingsdaten fehlen, veraltet oder zu einem Thema dürftig sind, füllt das Modell die Lücke mit einer plausiblen Vermutung.
3. Keine integrierte Ground Truth: Ohne eine Quelle, mit der zum Zeitpunkt der Antwortgenerierung abgeglichen werden kann, kann das Modell eine gestützte Aussage nicht von einer erfundenen unterscheiden.
4. Suggestive oder mehrdeutige Prompts: Vage Fragen oder falsche Prämissen können das Modell dazu bewegen, zu antworten, anstatt zu widersprechen.
5. Neigung zum Antworten: Modelle neigen dazu, eine selbstbewusste Antwort zu geben, anstatt Unsicherheit zuzugeben, sodass Wissenslücken in Form von Erfindungen auftreten können.

Der entscheidende Punkt ist, dass das Modell nicht lügt: Es hat keine interne Unterscheidung zwischen einer gut gestützten Aussage und einer plausibel klingenden Erfindung.

Halluzination vs. sachliche Fehler und Fehlinformation

• Ein sachlicher Fehler kann jede beliebige Ursache haben, einschließlich korrekter Schlussfolgerungen auf Basis fehlerhafter Daten; eine Halluzination bedeutet speziell, dass das Modell etwas Ungegründetes oder Ungestütztes produziert hat – oft indem es dies völlig frei erfindet, aber auch indem es Quellen falsch liest oder falsch zuordnet.
• Fehlinformation ist falsche oder ungenaue Information, unabhängig von der Absicht; während Fehlinformation oder Desinformation eine Absicht zur Irreführung implizieren, ist eine Halluzination unbeabsichtigt, da das Modell kein Bewusstsein dafür hat, dass seine Ausgabe falsch ist.
• Intrinsische Halluzinationen widersprechen einer Quelle, die dem Modell gegeben wurde; extrinsische Halluzinationen können anhand dieser Quelle nicht verifiziert werden, selbst wenn sie zufällig wahr sind.

Wie Halluzinationen reduziert werden

• Retrieval-Augmented Generation (RAG): Das Verankern von Antworten in abgerufenem, zitierfähigem Text gibt dem Modell echte Quellen, mit denen es arbeiten kann, anstatt zu raten (aber RAG kann dennoch Fehler produzieren, wenn das Retrieval relevante Quellen verpasst oder das Modell das Gefundene falsch verwendet).
• Zitate und Verifizierung: Das Modell aufzufordern, Quellen zu zitieren, und diese dann zu überprüfen, deckt Aussagen auf, die durch nichts gestützt werden.
• Erlaubnis zum Verzicht: Dem Modell zu erlauben, „Ich weiß es nicht“ zu sagen, reduziert erzwungene Vermutungen – eine Technik, die Anthropic empfiehlt für zuverlässigere Ausgaben.
• Menschliche Überprüfung in Bereichen mit hohem Risiko: In Medizin, Recht und Finanzwesen, wo eine selbstbewusste Erfindung am kostspieligsten ist, bleibt die menschliche Überprüfung unerlässlich.
• Reinforcement Learning from Human Feedback (RLHF): Weiteres Training auf Basis kuratierter Beispiele kann dazu beitragen, dem Modell beizubringen, Anweisungen zu befolgen, schädliche Anfragen abzulehnen und zuverlässigere Antworten zu erzeugen.
• Fine-Tuning: Weiteres Training eines vortrainierten Modells auf kuratierten Beispielen kann die Zuverlässigkeit innerhalb eines Bereichs verbessern und es dazu ermutigen, bei Unsicherheit zu verzichten. Fine-Tuning ergänzt das Grounding, ist aber kein Ersatz dafür, und kann manchmal nach hinten losgehen, wenn es verwendet wird, um unbekannte Fakten zu vermitteln.

Halluzinationen können reduziert, aber nicht vollständig beseitigt werden; das praktische Ziel besteht darin, Ausgaben in überprüfbaren Quellen zu verankern und Systeme zu bauen, die Unsicherheit sichtbar machen, anstatt sie zu verbergen.

Verwandte Begriffe

Retrieval-Augmented Generation (RAG), Web-Grounding, Quellenattribuierung, Zitat, großes Sprachmodell (LLM), Prompt Engineering, KI-Antwortmaschine, sachliche Richtigkeit, Konfabulation.