Zum Inhalt springen

Glossar

KI & Machine Learning

Retrieval-Augmented Generation (RAG)

Retrieval-Augmented Generation (RAG) ist eine Technik, bei der ein KI-System zunächst relevante Passagen aus einer vertrauenswürdigen Dokumentensammlung abruft und dann ein Sprachmodell seine Antwort mit diesen Passagen als Kontext formulieren lässt.

Aktualisiert am · Vom VIZIO AI Team

Was ist Retrieval-Augmented Generation?

RAG trennt das, was ein Modell kann (schreiben, schlussfolgern, zusammenfassen), von dem, was es wissen sollte (Ihre aktuellen, internen Fakten). Statt ein Modell mit Unternehmensdokumenten neu zu trainieren, sucht das System zum Zeitpunkt der Frage die passenden Passagen heraus und fügt sie in den Prompt ein.

Der Ansatz wurde 2020 in einem Paper von Forschenden von Facebook AI Research, University College London und New York University benannt. Heute ist er das Standardmuster für Chatbots über Hilfecenter, Richtlinienbibliotheken, Verträge und Produktdokumentation, weil sich Wissen so einfach aktualisieren lässt wie die Dokumente selbst. Außerdem können Antworten Quellen zitieren, sodass Nutzer sie überprüfen können.

Wie funktioniert eine RAG-Pipeline?

Ein RAG-System hat eine Indexierungspipeline, die vorab läuft, und eine Abfragepipeline, die bei jeder Frage läuft.

  1. Einlesen und Chunking: Dokumente in Passagen von einigen hundert Tokens aufteilen und Titel sowie Abschnittsüberschriften als Metadaten behalten.

  2. Embedding: jeden Chunk mit einem Embedding-Modell in einen Vektor umwandeln; siehe Embeddings.

  3. Speichern: Vektoren in einer Vektordatenbank wie pgvector, Pinecone, Weaviate oder Qdrant ablegen.

  4. Abrufen: die Frage des Nutzers einbetten und die ähnlichsten Chunks abrufen, oft kombiniert mit Stichwortsuche (BM25) in einem hybriden Ansatz.

  5. Reranking: Ein Reranking-Modell ordnet die Kandidaten nach Relevanz neu und behält die besten wenigen.

  6. Generieren: Das LLM antwortet ausschließlich auf Basis der abgerufenen Chunks, mit Quellenangaben.

Frameworks wie LangChain und LlamaIndex bündeln diese Schritte, doch jeder davon muss trotzdem auf Ihre eigenen Dokumente abgestimmt werden.

Wie sieht RAG in der Praxis aus?

Nehmen wir einen Hersteller mit 400 Mitarbeitenden, dessen HR-Team in drei Ländern jeden Tag dieselben Fragen zu Zusatzleistungen und Urlaubsregelungen beantwortet. Die Richtlinien liegen in rund 150 PDFs und Intranetseiten, jeweils mit einem Ländertag.

Das Team teilt die Dokumente nach Abschnitten auf, bettet sie ein und speichert sie in Postgres mit pgvector, wobei Metadaten zu Land und Gültigkeitsdatum erhalten bleiben. Wenn ein Mitarbeitender in Deutschland nach Elternzeit fragt, filtert der Abruf zuerst auf deutsche Richtlinien, dann antwortet das Modell mit Links zu den genauen Abschnitten.

Angenommen, das Team erstellt ein Testset aus 100 echten Fragen mit bekannten korrekten Antworten und prüft jede Änderung daran. In diesem Beispiel ersetzt HR bei einer Richtlinienänderung das PDF, und der Index wird über Nacht aktualisiert, ganz ohne erneutes Training des Modells.

Warum geben RAG-Systeme falsche Antworten?

Die meisten RAG-Fehler sind Abruffehler: Das Modell antwortet selbstbewusst auf Basis der falschen Passage oder ganz ohne Passage. Den Abruf zu verbessern hilft meist mehr als der Wechsel zu einem größeren Modell.

  • Schlechtes Chunking: Wird eine Tabelle oder eine nummerierte Anleitung in der Mitte geteilt, werden Fakten von ihrem Kontext getrennt.

  • Veraltete oder doppelte Dokumente: Wird die Richtlinie des Vorjahrs neben der aktuellen abgerufen, entstehen Widersprüche.

  • Fehlende Filter: Ohne Metadaten wie Land, Produkt oder Datum ranken ähnliche, aber falsche Dokumente weit oben.

  • Nicht fundierte Antworten: Das Modell füllt Lücken aus seinen Trainingsdaten; weisen Sie es an, „Ich weiß es nicht“ zu sagen, und prüfen Sie die Quellenangaben.

  • Lücken in der Zugriffskontrolle: Der Abruf muss die Berechtigungen des Nutzers respektieren, sonst kann der Bot aus Dokumenten zitieren, die der Nutzer nicht sehen darf.

Messen Sie Abruf und Antworten getrennt, zum Beispiel mit Evals, die die Quellentreue bewerten.

Sollten Sie RAG oder Fine-Tuning nutzen?

Nutzen Sie RAG, wenn das Modell Fakten braucht, die sich ändern oder zitiert werden müssen; nutzen Sie Fine-Tuning, wenn es einen konsistenten Stil, ein festes Format oder spezialisiertes Verhalten braucht. Beide lösen unterschiedliche Probleme und werden oft kombiniert.

RAG ist sofort aktuell, wenn sich Dokumente ändern, unterstützt Quellenangaben und hält sensible Daten aus den Modellgewichten heraus. Fine-Tuning vermittelt Muster, etwa immer eine bestimmte JSON-Struktur zu erzeugen oder den Ton Ihrer Marke zu treffen, eignet sich aber schlecht, um Fakten zu speichern, die sich monatlich ändern. Sehr lange Kontextfenster können bei kleinen Dokumentensammlungen den Abruf manchmal ersetzen, zu höheren Kosten pro Frage.

RAG vs. Fine-Tuning

RAG

Fine-Tuning

Was es hinzufügt

Aktuelle, spezifische Fakten zum Abfragezeitpunkt

Stil, Format oder spezialisiertes Verhalten

Wissen aktualisieren

Dokumente ersetzen und neu indexieren

Das Modell neu trainieren

Quellenangaben

Ja, zu abgerufenen Passagen

Keine natürliche Quellenspur

Hauptfehler

Abruf der falschen Passage

Selbstbewusst vorgetragene veraltete Fakten

Anfangsaufwand

Pipeline, Chunking und Evals

Gelabelte Trainingsbeispiele und Trainingsläufe

Wie baut VIZIO AI RAG-Systeme?

VIZIO AI baut Retrieval-Systeme auf geprüften Quellen, damit Antworten in einem Bereich, in dem Genauigkeit zählt, fundiert bleiben. Für ein auf Südostasien fokussiertes, global tätiges Technologieberatungsunternehmen baute das DX Studio eine KI-gestützte Plattform für Finanzanalysen für KMU mit einem intelligenten Chatbot, der Finanzfragen beantwortet, Instrumente vergleicht und regulatorische Informationen erklärt, gestützt auf geprüfte Finanzquellen und eine Vektordatenbank.

Semantische Suche und automatisierte ETL-Pipelines hielten den Abruf auf einer mehrsprachigen Plattform trotz wachsender Datenbestände schnell. Das Ergebnis: 65 % weniger Zeit für Finanzrecherche, 4-fache Plattformnutzung und eine um 35 % verbesserte Entscheidungsgenauigkeit.

Wo Sie anfangen sollten: Sammeln Sie 50 echte Fragen Ihrer Nutzer samt korrekter Antworten, bevor Sie sich für eine Vektordatenbank entscheiden.

Facebook-Logo
X-Logo
LinkedIn-Logo
Reddit-Logo
Telegram-Logo

AI-first denken.
Zukunftsschnell handeln.

Lassen Sie uns bauen, was als Nächstes kommt! Von Produktideen und intelligenten Workflows bis zu datengetriebenen Systemen und skalierbaren Growth Operations.

Strategiegespräch buchen