Zum Inhalt springen

Blog

KI & Machine Learning

Mit Ihren Unternehmensdokumenten chatten: Wann RAG funktioniert und wann nicht

RAG funktioniert, wenn Dokumente aktuell, textlesbar und mit Berechtigungen versehen sind. Es scheitert an veralteten Dateien, gescannten PDFs und Fragen, die Zählen erfordern.

7 Min. Lesezeit
Gedithertes Bild einer Marmorhand, die in einem dämmrigen Archiv eine wachsversiegelte Schriftrolle aus einer Wand voller Fächer zieht, ein roter Faden läuft von der Schriftrolle zurück zu einem geschnitzten Lesepult unter einem rot beleuchteten Fenster.
Facebook-Logo
X-Logo
LinkedIn-Logo
Reddit-Logo
Telegram-Logo

Retrieval-Augmented Generation (RAG) funktioniert bei Unternehmensdokumenten, wenn die Antwort in wenigen aktuellen, textlesbaren Dateien steht, die die fragende Person sehen darf. Schwierig wird es, wenn Dateien veraltet oder doppelt vorhanden sind, wenn PDFs gescannte Bilder sind, wenn Berechtigungen ignoriert werden und wenn die Frage Zählen oder Summen über viele Datensätze erfordert.

Stellen Sie sich einen Betriebsleiter bei einem Dienstleistungsunternehmen mit 60 Mitarbeitenden vor. Das Team stellt jede Woche dieselben Fragen: Wie lautet die Reiserichtlinie für Kundenbesuche, welche Vertragsvorlage deckt ein Festpreisprojekt ab, wer genehmigt eine Erstattung über dem üblichen Limit. Die Antworten liegen auf einem gemeinsamen Laufwerk mit drei Versionen des Handbuchs, einem Ordner gescannter Verträge und einigen Richtlinien, die nur die Personalabteilung öffnen kann. Ein Chat-Assistent über diesem Laufwerk antwortet schnell. Ob er richtig antwortet, hängt vom Laufwerk ab, nicht vom Modell.

Was ist RAG, und wie antwortet es aus Unternehmensdokumenten?

RAG ist ein Muster, bei dem ein KI-System zuerst Ihre Dokumente nach den Passagen durchsucht, die einer Frage am nächsten kommen, und diese Passagen dann einem Sprachmodell gibt, das die Antwort schreibt. Das Modell antwortet aus Ihren Inhalten statt nur aus dem, was es im Training gelernt hat.

Der Begriff stammt aus einem Forschungspapier von Patrick Lewis und Kollegen aus dem Jahr 2020, Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, das Modelle beschreibt, die „vortrainierten parametrischen und nichtparametrischen Speicher kombinieren“. Die Dokumentation zu Azure AI Search von Microsoft sagt es in Geschäftsbegriffen: RAG „erweitert die Fähigkeiten von LLMs, indem es Antworten in Ihren eigenen Inhalten verankert“.

Die vier Schritte in einem typischen Aufbau

  1. Einlesen (Ingest). Dateien werden aus Laufwerken, Wikis oder Ticketsystemen gesammelt und in Text umgewandelt.

  2. Zerlegen (Chunking). Lange Dokumente werden in kleinere Passagen aufgeteilt, damit jeder Teil für sich abgeglichen werden kann.

  3. Abrufen (Retrieve). Stellt jemand eine Frage, wählt eine Suche (nach Bedeutung, nach Stichwort oder beides) die relevantesten Passagen aus.

  4. Generieren. Das Modell schreibt eine Antwort nur anhand dieser Passagen, idealerweise mit Rückverweisen auf die Quelle.

Gehostete Tools bündeln diese Schritte. Das File-Search-Tool von OpenAI etwa lässt ein Modell „Informationen in einer Wissensbasis zuvor hochgeladener Dateien über semantische und Stichwortsuche abrufen“.

Wann funktioniert RAG gut bei Geschäftsdokumenten?

RAG funktioniert gut, wenn die Antwort schriftlich an einer oder wenigen Stellen vorliegt und die Frage danach fragt, was ein Dokument sagt, statt nach einer Berechnung. Richtlinien, Verfahren, Produktdokumentation, Vertragsklauseln und frühere Angebote passen gut.

  • Fragen zu Richtlinien und HR. Eignung: stark. Warum: Antworten sind kurze Passagen in wenigen offiziellen Dokumenten.

  • Produkt- und Support-Dokumentation. Eignung: stark. Warum: Die Inhalte sind bereits erklärend geschrieben und meist aktuell gehalten.

  • Vertragsabfragen. Eignung: gut, mit Vorsicht. Warum: Klauseln sind auffindbar, aber der Assistent muss sagen, welchen Vertrag und welche Version er genutzt hat.

  • „Wie viele“- oder „Wie viel“-Fragen. Eignung: schwach. Warum: Summen über Datensätze brauchen eine Datenbankabfrage, nicht ein paar Passagen.

  • Fragen, die Urteilsvermögen erfordern. Eignung: schwach. Warum: RAG kann die relevanten Dokumente zusammenbringen, aber ein Mensch muss weiterhin entscheiden.

Wenn Ihre Fragen überwiegend Zahlen betreffen, etwa Umsatz nach Region oder Tickets pro Woche, brauchen Sie strukturierte Daten und definierte Kennzahlen, keine Dokumentensuche. Unser Beitrag zu einer semantischen Schicht für KI behandelt diese Seite.

Warum gibt RAG falsche oder unvollständige Antworten?

Die meisten falschen RAG-Antworten entstehen beim Abruf, nicht beim Modell: Das System hat die falsche Passage gefunden, eine veraltete oder gar keine, und das Modell hat aus dem geantwortet, was es bekam. Die Dokumente und die Suche zu verbessern hilft meist mehr, als das Modell zu wechseln.

Zwei Marmorhände schneiden eine lange Schriftrolle in Streifen, jeder Streifen behält am oberen Rand eine karmesinrote Überschriftenzeile

Die häufigen Fehlermuster

  • Veraltete und doppelte Dateien. Drei Versionen desselben Handbuchs bedeuten drei verschiedene Antworten. Die Suche kann nicht wissen, welche aktuell ist, wenn Sie es ihr nicht sagen.

  • Gescannte PDFs. Ein gescannter Vertrag ist ein Bild von Text. Ohne optische Zeichenerkennung (OCR) gibt es nichts zu durchsuchen. Der OCR-Skill von Microsoft etwa „erkennt gedruckten und handschriftlichen Text in Bilddateien“, einschließlich in PDFs eingebetteter Bilder. Prüfen Sie, was Ihr Tool mit Bildern macht, bevor Sie sich darauf verlassen; die File-Search-Seite von OpenAI nennt unter den unterstützten Formaten PDF, Word, PowerPoint, Markdown, Text und HTML, aber keine Bildformate.

  • Chunks, die ihren Kontext verlieren. Eine Passage, die sagt „das Limit wird auf den oben genannten Betrag angehoben“, bedeutet ohne die Überschrift und den vorherigen Absatz wenig. Der Beitrag von Anthropic zum Contextual Retrieval (September 2024) vermerkt, dass herkömmliche RAG-Lösungen „beim Kodieren von Informationen Kontext entfernen“. In eigenen Tests senkte das Hinzufügen eines kurzen Kontexts zu jedem Chunk in Kombination mit bedeutungs- und stichwortbasierter Suche die Fehler beim Abruf der Top 20 um 49 %, mit Reranking um 67 %.

  • Tabellen und Kalkulationen. Zeilen, die auf Chunks verteilt werden, verlieren ihre Spaltenköpfe. Tabellarische Daten gehören meist in eine Datenbank, die der Assistent abfragen kann.

  • Fragen ohne Antwort in den Dateien. Wird nichts Relevantes gefunden, sollte ein gut gebauter Assistent das sagen, statt die Lücke zu füllen.

Wie verhindern Sie, dass ein RAG-Assistent Menschen Dokumente zeigt, die sie nicht sehen sollten?

Filtern Sie die Ergebnisse nach den Berechtigungen der fragenden Person, bevor etwas das Modell erreicht. Wenn jemand eine Datei im Laufwerk nicht öffnen kann, darf der Assistent sie für ihn nicht abrufen, zitieren oder zusammenfassen.

Das nennt man Security Trimming oder Zugriffskontrolle auf Dokumentebene. Die Dokumentation zum Zugriff auf Dokumentebene von Microsoft beschreibt die einfachste Form: „Ihre Anwendung übergibt eine Benutzer- oder Gruppenidentität als Zeichenfolge, die einen Filter in einer Abfrage befüllt und alle Dokumente ausschließt, die nicht zur Zeichenfolge passen.“ Der neuere Ansatz, noch als Preview gekennzeichnet, liest Berechtigungsmetadaten aus dem indexierten Inhalt selbst.

Marmorfinger und -daumen heben ein karmesinrotes Schloss von einem angeketteten Buch in einem langen Gang angeketteter Bücher

Was Sie prüfen sollten

  • Jedes indexierte Dokument trägt die Gruppen oder Benutzer, die es lesen dürfen.

  • Der Filter wird in der Suchabfrage angewendet, nicht nachdem das Modell den Text gesehen hat.

  • Berechtigungsänderungen im Quellsystem erreichen den Index nach einem Zeitplan, den Sie kennen.

  • Hochsensible Ordner, etwa Gehaltsabrechnung oder Rechtsstreitigkeiten, bleiben ganz draußen, bis der Rest funktioniert.

Dieselbe Regel gilt, wenn ein Agent über einen Konnektor auf Dokumente zugreift. Unser Leitfaden zum Absichern eines MCP-Servers behandelt eingegrenzten Zugriff ausführlicher.

Wie bereiten Sie Dokumente vor, bevor Sie RAG bauen?

Bereinigen Sie die Quelle, bevor Sie sie indexieren: Wählen Sie eine aktuelle Version jedes Dokuments, wandeln Sie Scans in Text um, versehen Sie sie mit klaren Titeln und Verantwortlichen und entscheiden Sie, wer was sehen darf. Eine Stunde am Laufwerk spart Tage des Prompt-Tunings.

  1. Die Fragen auflisten. Sammeln Sie 30 bis 50 echte Fragen, die Menschen stellen, mit der richtigen Antwort und dem Dokument, aus dem sie stammt. Das wird Ihr Testsatz.

  2. Die Quellen wählen. Beginnen Sie mit den Ordnern, die die meisten dieser Fragen beantworten, nicht mit dem ganzen Laufwerk.

  3. Dubletten entfernen und alte Versionen archivieren. Behalten Sie pro Richtlinie eine aktuelle Datei, mit Datum und Verantwortlichem.

  4. Dateien lesbar machen. Führen Sie OCR auf Scans aus und prüfen Sie eine Stichprobe mit dem Auge.

  5. Berechtigungen taggen. Halten Sie fest, welche Gruppen jede Quelle lesen dürfen.

  6. Vor dem Start testen. Lassen Sie den Testsatz laufen, prüfen Sie, dass jede Antwort das richtige Dokument zitiert, und korrigieren Sie die Dokumente hinter den falschen.

Wann ist RAG das falsche Werkzeug?

RAG ist das falsche Werkzeug, wenn die Antwort berechnet werden muss, wenn sie in einem System liegt, das sich minütlich ändert, oder wenn die Aufgabe darin besteht, eine Aktion auszuführen, statt eine Frage zu beantworten. In diesen Fällen passen eine Datenbankabfrage, eine direkte Integration oder ein Agent mit Tools besser.

  • Berechnungen und Berichte. Nutzen Sie die Datenbank oder BI-Schicht und lassen Sie die KI die Abfrage schreiben oder erklären.

  • Live-Status, etwa einer Bestellung oder eines Tickets. Rufen Sie zum Zeitpunkt der Frage die API des Systems auf, statt eine Kopie zu indexieren.

  • Aktionen, etwa Buchen, Erstatten oder einen Datensatz aktualisieren. Das ist die Aufgabe eines Agenten mit berechtigten Tools; unsere Erklärung dazu, was ein KI-Agent ist, behandelt den Unterschied.

Viele nützliche Assistenten kombinieren diese: RAG für die Richtlinie, einen API-Aufruf für die aktuelle Bestellung des Kunden und einen Menschen für die Entscheidung.

So gehen wir bei Vizio AI vor

Wir beginnen mit den Fragen, nicht mit den Dokumenten. Bevor wir etwas indexieren, sammeln wir echte Fragen aus dem Team, die richtigen Antworten und wo diese Antworten liegen, und nutzen diese Liste, um zu entscheiden, welche Quellen hineinkommen, und um den Assistenten zu testen, bevor sich jemand auf ihn verlässt.

Dann bereinigen wir die Quellen gemeinsam mit denen, die sie verantworten, wenden Berechtigungen in der Suche selbst an und lassen jede Antwort das Dokument und den Abschnitt zitieren, die sie genutzt hat, sodass eine falsche Antwort direkt zu der Datei führt, die korrigiert werden muss. Wenn sich zeigt, dass Fragen Zahlen oder Live-Daten brauchen, binden wir das richtige System an, statt die Dokumentensuche zu überdehnen. Diese Arbeit gehört zu unserem DX Studio.

Quellen

FAQs.

01

02

03

04

05

Mehr lesen.

Dithered illustration of two marble hands pulling a mason's line taut between stakes across bare ground at dawn, the first course of stones laid along it and a pink knot at the nearest stake.
Your First 30 Days With a Product Studio: What Happens Week by Week
7 Min.

The first 30 days with a product studio: week one sets access and goals, week two tests the riskiest assumption, weeks three and four ship a first slice.

Dithered illustration of a marble hand opening the case of a bracket clock to show a dense hidden mechanism, one small gear deep inside glowing red.
What Does an AI Agent Cost to Run? Tokens, Tools and the Hidden Line Items
6 Min.

An AI agent's running cost is model tokens across every step, plus retries, tool and search fees, hosting, monitoring and human review. Budget per task, not per token.

Dithered illustration of a fragmented marble face looking down at a jeweller's tray where gems are sorted by size, the largest stone glowing amber under a brass lamp.
AI Lead Scoring in Your CRM: Start With the Rules You Already Trust
7 Min.

Add AI lead scoring by writing down the rules sales already trusts, cleaning CRM data, then testing the AI score against those rules before reps use it.

AI-first denken.
Zukunftsschnell handeln.

Lassen Sie uns bauen, was als Nächstes kommt! Von Produktideen und intelligenten Workflows bis zu datengetriebenen Systemen und skalierbaren Growth Operations.

Strategiegespräch buchen