Zum Inhalt springen

Glossar

KI & Machine Learning

KI-Halluzination

Eine KI-Halluzination liegt vor, wenn ein generatives KI-Modell, etwa ein Large Language Model, eine Ausgabe erzeugt, die flüssig und selbstsicher klingt, aber falsch, nicht durch seine Quellen gedeckt oder schlicht erfunden ist – wie ein gefälschtes Zitat oder eine falsche Zahl.

Aktualisiert am · Vom VIZIO AI Team

Was ist eine KI-Halluzination?

Halluzination ist ein Nebeneffekt der Funktionsweise von Sprachmodellen: Sie erzeugen die plausibelsten nächsten Wörter, und nichts in diesem Prozess prüft, ob die Wörter wahr sind. Ein Large Language Model hat keine eingebaute Faktendatenbank; es verfügt über statistische Muster, die es aus Trainingstexten gelernt hat.

Häufige Formen sind:

  • Erfundene Fakten: ein falsches Datum, ein falscher Preis oder eine falsche Statistik, selbstsicher vorgetragen.

  • Gefälschte Quellen: Zitate, URLs oder Gerichtsentscheidungen, die nicht existieren.

  • Untreue Zusammenfassungen: eine Zusammenfassung, die ihrem Quelldokument widerspricht oder etwas hinzufügt.

  • Erfundene Schnittstellen: Code, der Funktionen oder Pakete aufruft, die nie veröffentlicht wurden.

Ein vielzitiertes Beispiel ist Mata v. Avianca (2023): Ein US-Bundesrichter sanktionierte Anwälte, die einen Schriftsatz mit von ChatGPT erfundenen Fallzitaten eingereicht hatten.

Wie reduzieren Sie KI-Halluzinationen?

Halluzinationen lassen sich nicht vollständig beseitigen, aber Sie können sie seltener und leichter erkennbar machen, indem Sie das Modell verankern, einschränken und prüfen.

  1. Verankern: Nutzen Sie Retrieval-Augmented Generation, damit Antworten auf abgerufenen, geprüften Dokumenten beruhen.

  2. Quellenangaben verlangen: Fordern Sie für jede Aussage die ID des zugrunde liegenden Abschnitts an und prüfen Sie dann im Code, ob diese IDs tatsächlich abgerufen wurden.

  3. „Ich weiß es nicht“ erlauben: Weisen Sie das Modell an, abzulehnen, wenn die Quellen die Frage nicht beantworten.

  4. Tools für Fakten nutzen: Führen Sie Berechnungen und Abfragen über SQL, APIs oder einen Rechner aus, nicht über das Gedächtnis des Modells.

  5. Format einschränken: Strukturierte Ausgaben wie JSON mit erlaubten Werten lassen weniger Raum für Erfindungen.

  6. Messen: Führen Sie Evals auf einem festen Fragenkatalog durch und verfolgen Sie einen Groundedness-Score über die Zeit.

Wie sieht die Reduzierung von Halluzinationen in der Praxis aus?

In der Praxis besteht die Lösung aus einer Pipeline rund um das Modell, nicht allein aus einem besseren Prompt. Stellen Sie sich einen Versicherungsmakler vor, dessen interner Assistent Fragen der Mitarbeitenden zu Policenformulierungen beantwortet und in seiner ersten Version manchmal Deckungsgrenzen erfindet.

  • Policen-PDFs werden in Abschnitte zerlegt, eingebettet und in pgvector gespeichert; jede Frage ruft die relevantesten Passagen ab.

  • Der Prompt weist das Modell an, nur auf Basis dieser Passagen zu antworten und die Klauselnummer zu zitieren.

  • Eine nachgelagerte Prüfung verwirft jede Antwort, die eine nicht abgerufene Klausel zitiert, und gibt stattdessen „nicht gefunden, bitte an das Underwriting-Team wenden“ zurück.

  • Das Team erstellt einen Eval-Datensatz aus beispielsweise 150 echten Mitarbeiterfragen mit bekannten Antworten und führt ihn bei jeder Prompt- oder Modelländerung aus.

Die Zahl der Ablehnungen steigt zunächst, und das ist der beabsichtigte Kompromiss: Ein sichtbares „nicht gefunden“ ist sicherer als eine selbstsicher genannte falsche Deckungsgrenze.

Wann sind Halluzinationen relevant, und welche Zielkonflikte bringt ihre Vermeidung mit sich?

Das Halluzinationsrisiko sollte im Verhältnis zu den Kosten einer falschen Antwort gesteuert werden. Beim Brainstorming von Slogans ist Erfindung tolerierbar; beim Zitieren einer Medikamentendosis oder einer Vertragsklausel nicht.

  • Striktes Grounding erhöht die Zahl der Ablehnungen und kann Nutzer frustrieren, wenn der Abruf schwach ist.

  • RAG versagt still, wenn das richtige Dokument nie abgerufen wird – messen Sie daher den Abruf ebenso wie die Antworten.

  • Verifikationsschritte, etwa ein zweites Modell, das das erste prüft, erhöhen Latenz und Kosten pro Antwort.

Behalten Sie bei Ausgaben mit hoher Tragweite eine Human-in-the-Loop-Prüfung im letzten Schritt bei und protokollieren Sie jede Antwort mit ihren Quellen, damit sich Fehler zurückverfolgen lassen.

Welche Tools helfen, Halluzinationen zu erkennen und zu kontrollieren?

Erkennungstools bewerten, wie gut eine Antwort durch ihren Kontext gestützt ist; Guardrail-Tools blockieren oder überarbeiten Antworten, die gegen eine Regel verstoßen. Ragas, DeepEval und TruLens liefern Metriken zu Faithfulness oder Groundedness. LangSmith und ähnliche Tracing-Tools zeichnen Prompts, abgerufenen Kontext und Ausgaben zur Prüfung auf.

Mit NVIDIA NeMo Guardrails und Guardrails AI können Teams Prüfungen definieren, die laufen, bevor eine Antwort den Nutzer erreicht – Teil eines umfassenderen Setups aus KI-Guardrails. Frameworks wie LangChain und LlamaIndex übernehmen die technische Umsetzung von Abruf und Quellenangaben.

Nicht verankerte vs. verankerte Modellantworten

Nicht verankerte Antwort

Verankerte Antwort (RAG)

Wissensquelle

Muster aus den Trainingsdaten

Zum Abfragezeitpunkt abgerufene Dokumente

Kann Quellen zitieren?

Nicht zuverlässig

Ja, wenn der Abruf erfolgreich war

Typische Halluzination

Erfundene Fakten und Quellen

Fehlinterpretation oder Überdehnung der Passage

Aktualität

Festgelegt durch den Trainings-Stichtag

So aktuell wie die indexierten Dokumente

Wie man prüft

Manueller Faktencheck

Aussagen mit abgerufenen Passagen abgleichen

Wie reduziert VIZIO AI Halluzinationen in KI-Produkten?

VIZIO AI verankert Assistenten in geprüften Quellen, damit sich Antworten auf echte Dokumente zurückführen lassen. Für ein auf Südostasien fokussiertes Technologieberatungsunternehmen baute das DX Studio einen mehrsprachigen Chatbot, der Finanzfragen beantwortet, Instrumente vergleicht und Regulierungen erklärt – auf Basis geprüfter Finanzquellen und einer Vektordatenbank. Die Plattform reduzierte den Aufwand für Finanzrecherchen um 65 % und verbesserte die Entscheidungsgenauigkeit um 35 %.

Für Briefio AI nutzte das Venture Studio OpenAI-Modelle, um wissenschaftliche Paper zusammenzufassen, mit sorgfältiger Arbeit an der Prompt-Struktur, um die Integrität der Quelle zu wahren, und lieferte das MVP in 3 Monaten. Wo Sie anfangen sollten: Sammeln Sie 50 echte Fragen mit bekannten richtigen Antworten und messen Sie, wie oft Ihr aktuelles Setup sie richtig beantwortet.

Facebook-Logo
X-Logo
LinkedIn-Logo
Reddit-Logo
Telegram-Logo

AI-first denken.
Zukunftsschnell handeln.

Lassen Sie uns bauen, was als Nächstes kommt! Von Produktideen und intelligenten Workflows bis zu datengetriebenen Systemen und skalierbaren Growth Operations.

Strategiegespräch buchen