Mit Ihren Unternehmensdokumenten chatten: Wann RAG funktioniert und wann nicht
RAG funktioniert, wenn Dokumente aktuell, textlesbar und mit Berechtigungen versehen sind. Es scheitert an veralteten Dateien, gescannten PDFs und Fragen, die Zählen erfordern.
7 Min. Lesezeit

Inhalt
Retrieval-Augmented Generation (RAG) funktioniert bei Unternehmensdokumenten, wenn die Antwort in wenigen aktuellen, textlesbaren Dateien steht, die die fragende Person sehen darf. Schwierig wird es, wenn Dateien veraltet oder doppelt vorhanden sind, wenn PDFs gescannte Bilder sind, wenn Berechtigungen ignoriert werden und wenn die Frage Zählen oder Summen über viele Datensätze erfordert.
Stellen Sie sich einen Betriebsleiter bei einem Dienstleistungsunternehmen mit 60 Mitarbeitenden vor. Das Team stellt jede Woche dieselben Fragen: Wie lautet die Reiserichtlinie für Kundenbesuche, welche Vertragsvorlage deckt ein Festpreisprojekt ab, wer genehmigt eine Erstattung über dem üblichen Limit. Die Antworten liegen auf einem gemeinsamen Laufwerk mit drei Versionen des Handbuchs, einem Ordner gescannter Verträge und einigen Richtlinien, die nur die Personalabteilung öffnen kann. Ein Chat-Assistent über diesem Laufwerk antwortet schnell. Ob er richtig antwortet, hängt vom Laufwerk ab, nicht vom Modell.
Was ist RAG, und wie antwortet es aus Unternehmensdokumenten?
RAG ist ein Muster, bei dem ein KI-System zuerst Ihre Dokumente nach den Passagen durchsucht, die einer Frage am nächsten kommen, und diese Passagen dann einem Sprachmodell gibt, das die Antwort schreibt. Das Modell antwortet aus Ihren Inhalten statt nur aus dem, was es im Training gelernt hat.
Der Begriff stammt aus einem Forschungspapier von Patrick Lewis und Kollegen aus dem Jahr 2020, Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, das Modelle beschreibt, die „vortrainierten parametrischen und nichtparametrischen Speicher kombinieren“. Die Dokumentation zu Azure AI Search von Microsoft sagt es in Geschäftsbegriffen: RAG „erweitert die Fähigkeiten von LLMs, indem es Antworten in Ihren eigenen Inhalten verankert“.
Die vier Schritte in einem typischen Aufbau
Einlesen (Ingest). Dateien werden aus Laufwerken, Wikis oder Ticketsystemen gesammelt und in Text umgewandelt.
Zerlegen (Chunking). Lange Dokumente werden in kleinere Passagen aufgeteilt, damit jeder Teil für sich abgeglichen werden kann.
Abrufen (Retrieve). Stellt jemand eine Frage, wählt eine Suche (nach Bedeutung, nach Stichwort oder beides) die relevantesten Passagen aus.
Generieren. Das Modell schreibt eine Antwort nur anhand dieser Passagen, idealerweise mit Rückverweisen auf die Quelle.
Gehostete Tools bündeln diese Schritte. Das File-Search-Tool von OpenAI etwa lässt ein Modell „Informationen in einer Wissensbasis zuvor hochgeladener Dateien über semantische und Stichwortsuche abrufen“.
Wann funktioniert RAG gut bei Geschäftsdokumenten?
RAG funktioniert gut, wenn die Antwort schriftlich an einer oder wenigen Stellen vorliegt und die Frage danach fragt, was ein Dokument sagt, statt nach einer Berechnung. Richtlinien, Verfahren, Produktdokumentation, Vertragsklauseln und frühere Angebote passen gut.
Fragen zu Richtlinien und HR. Eignung: stark. Warum: Antworten sind kurze Passagen in wenigen offiziellen Dokumenten.
Produkt- und Support-Dokumentation. Eignung: stark. Warum: Die Inhalte sind bereits erklärend geschrieben und meist aktuell gehalten.
Vertragsabfragen. Eignung: gut, mit Vorsicht. Warum: Klauseln sind auffindbar, aber der Assistent muss sagen, welchen Vertrag und welche Version er genutzt hat.
„Wie viele“- oder „Wie viel“-Fragen. Eignung: schwach. Warum: Summen über Datensätze brauchen eine Datenbankabfrage, nicht ein paar Passagen.
Fragen, die Urteilsvermögen erfordern. Eignung: schwach. Warum: RAG kann die relevanten Dokumente zusammenbringen, aber ein Mensch muss weiterhin entscheiden.
Wenn Ihre Fragen überwiegend Zahlen betreffen, etwa Umsatz nach Region oder Tickets pro Woche, brauchen Sie strukturierte Daten und definierte Kennzahlen, keine Dokumentensuche. Unser Beitrag zu einer semantischen Schicht für KI behandelt diese Seite.
Warum gibt RAG falsche oder unvollständige Antworten?
Die meisten falschen RAG-Antworten entstehen beim Abruf, nicht beim Modell: Das System hat die falsche Passage gefunden, eine veraltete oder gar keine, und das Modell hat aus dem geantwortet, was es bekam. Die Dokumente und die Suche zu verbessern hilft meist mehr, als das Modell zu wechseln.

Die häufigen Fehlermuster
Veraltete und doppelte Dateien. Drei Versionen desselben Handbuchs bedeuten drei verschiedene Antworten. Die Suche kann nicht wissen, welche aktuell ist, wenn Sie es ihr nicht sagen.
Gescannte PDFs. Ein gescannter Vertrag ist ein Bild von Text. Ohne optische Zeichenerkennung (OCR) gibt es nichts zu durchsuchen. Der OCR-Skill von Microsoft etwa „erkennt gedruckten und handschriftlichen Text in Bilddateien“, einschließlich in PDFs eingebetteter Bilder. Prüfen Sie, was Ihr Tool mit Bildern macht, bevor Sie sich darauf verlassen; die File-Search-Seite von OpenAI nennt unter den unterstützten Formaten PDF, Word, PowerPoint, Markdown, Text und HTML, aber keine Bildformate.
Chunks, die ihren Kontext verlieren. Eine Passage, die sagt „das Limit wird auf den oben genannten Betrag angehoben“, bedeutet ohne die Überschrift und den vorherigen Absatz wenig. Der Beitrag von Anthropic zum Contextual Retrieval (September 2024) vermerkt, dass herkömmliche RAG-Lösungen „beim Kodieren von Informationen Kontext entfernen“. In eigenen Tests senkte das Hinzufügen eines kurzen Kontexts zu jedem Chunk in Kombination mit bedeutungs- und stichwortbasierter Suche die Fehler beim Abruf der Top 20 um 49 %, mit Reranking um 67 %.
Tabellen und Kalkulationen. Zeilen, die auf Chunks verteilt werden, verlieren ihre Spaltenköpfe. Tabellarische Daten gehören meist in eine Datenbank, die der Assistent abfragen kann.
Fragen ohne Antwort in den Dateien. Wird nichts Relevantes gefunden, sollte ein gut gebauter Assistent das sagen, statt die Lücke zu füllen.
Wie verhindern Sie, dass ein RAG-Assistent Menschen Dokumente zeigt, die sie nicht sehen sollten?
Filtern Sie die Ergebnisse nach den Berechtigungen der fragenden Person, bevor etwas das Modell erreicht. Wenn jemand eine Datei im Laufwerk nicht öffnen kann, darf der Assistent sie für ihn nicht abrufen, zitieren oder zusammenfassen.
Das nennt man Security Trimming oder Zugriffskontrolle auf Dokumentebene. Die Dokumentation zum Zugriff auf Dokumentebene von Microsoft beschreibt die einfachste Form: „Ihre Anwendung übergibt eine Benutzer- oder Gruppenidentität als Zeichenfolge, die einen Filter in einer Abfrage befüllt und alle Dokumente ausschließt, die nicht zur Zeichenfolge passen.“ Der neuere Ansatz, noch als Preview gekennzeichnet, liest Berechtigungsmetadaten aus dem indexierten Inhalt selbst.

Was Sie prüfen sollten
Jedes indexierte Dokument trägt die Gruppen oder Benutzer, die es lesen dürfen.
Der Filter wird in der Suchabfrage angewendet, nicht nachdem das Modell den Text gesehen hat.
Berechtigungsänderungen im Quellsystem erreichen den Index nach einem Zeitplan, den Sie kennen.
Hochsensible Ordner, etwa Gehaltsabrechnung oder Rechtsstreitigkeiten, bleiben ganz draußen, bis der Rest funktioniert.
Dieselbe Regel gilt, wenn ein Agent über einen Konnektor auf Dokumente zugreift. Unser Leitfaden zum Absichern eines MCP-Servers behandelt eingegrenzten Zugriff ausführlicher.
Wie bereiten Sie Dokumente vor, bevor Sie RAG bauen?
Bereinigen Sie die Quelle, bevor Sie sie indexieren: Wählen Sie eine aktuelle Version jedes Dokuments, wandeln Sie Scans in Text um, versehen Sie sie mit klaren Titeln und Verantwortlichen und entscheiden Sie, wer was sehen darf. Eine Stunde am Laufwerk spart Tage des Prompt-Tunings.
Die Fragen auflisten. Sammeln Sie 30 bis 50 echte Fragen, die Menschen stellen, mit der richtigen Antwort und dem Dokument, aus dem sie stammt. Das wird Ihr Testsatz.
Die Quellen wählen. Beginnen Sie mit den Ordnern, die die meisten dieser Fragen beantworten, nicht mit dem ganzen Laufwerk.
Dubletten entfernen und alte Versionen archivieren. Behalten Sie pro Richtlinie eine aktuelle Datei, mit Datum und Verantwortlichem.
Dateien lesbar machen. Führen Sie OCR auf Scans aus und prüfen Sie eine Stichprobe mit dem Auge.
Berechtigungen taggen. Halten Sie fest, welche Gruppen jede Quelle lesen dürfen.
Vor dem Start testen. Lassen Sie den Testsatz laufen, prüfen Sie, dass jede Antwort das richtige Dokument zitiert, und korrigieren Sie die Dokumente hinter den falschen.
Wann ist RAG das falsche Werkzeug?
RAG ist das falsche Werkzeug, wenn die Antwort berechnet werden muss, wenn sie in einem System liegt, das sich minütlich ändert, oder wenn die Aufgabe darin besteht, eine Aktion auszuführen, statt eine Frage zu beantworten. In diesen Fällen passen eine Datenbankabfrage, eine direkte Integration oder ein Agent mit Tools besser.
Berechnungen und Berichte. Nutzen Sie die Datenbank oder BI-Schicht und lassen Sie die KI die Abfrage schreiben oder erklären.
Live-Status, etwa einer Bestellung oder eines Tickets. Rufen Sie zum Zeitpunkt der Frage die API des Systems auf, statt eine Kopie zu indexieren.
Aktionen, etwa Buchen, Erstatten oder einen Datensatz aktualisieren. Das ist die Aufgabe eines Agenten mit berechtigten Tools; unsere Erklärung dazu, was ein KI-Agent ist, behandelt den Unterschied.
Viele nützliche Assistenten kombinieren diese: RAG für die Richtlinie, einen API-Aufruf für die aktuelle Bestellung des Kunden und einen Menschen für die Entscheidung.
So gehen wir bei Vizio AI vor
Wir beginnen mit den Fragen, nicht mit den Dokumenten. Bevor wir etwas indexieren, sammeln wir echte Fragen aus dem Team, die richtigen Antworten und wo diese Antworten liegen, und nutzen diese Liste, um zu entscheiden, welche Quellen hineinkommen, und um den Assistenten zu testen, bevor sich jemand auf ihn verlässt.
Dann bereinigen wir die Quellen gemeinsam mit denen, die sie verantworten, wenden Berechtigungen in der Suche selbst an und lassen jede Antwort das Dokument und den Abschnitt zitieren, die sie genutzt hat, sodass eine falsche Antwort direkt zu der Datei führt, die korrigiert werden muss. Wenn sich zeigt, dass Fragen Zahlen oder Live-Daten brauchen, binden wir das richtige System an, statt die Dokumentensuche zu überdehnen. Diese Arbeit gehört zu unserem DX Studio.
Quellen
Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv, 2020): https://arxiv.org/abs/2005.11401
Microsoft Learn, RAG and Generative AI, Azure AI Search: https://learn.microsoft.com/en-us/azure/search/retrieval-augmented-generation-overview
Microsoft Learn, Document-Level Access Control, Azure AI Search: https://learn.microsoft.com/en-us/azure/search/search-document-level-access-overview
Microsoft Learn, OCR Skill, Azure AI Search: https://learn.microsoft.com/en-us/azure/search/cognitive-search-skill-ocr
Anthropic, Introducing Contextual Retrieval (19. September 2024): https://www.anthropic.com/news/contextual-retrieval
OpenAI, File search: https://developers.openai.com/api/docs/guides/tools-file-search
Vizio AI, Semantic Layer First: BI bereit für KI-Agenten machen: https://www.vizio.ai/resources/blog/semantic-layer-for-ai
Vizio AI, Was ist ein KI-Agent wirklich? Agenten, Chatbots und Workflows im Vergleich: https://www.vizio.ai/resources/blog/what-is-an-ai-agent
Vizio AI, KI-Agent an Ihr CRM anbinden? Sichern Sie zuerst den MCP-Server ab: https://www.vizio.ai/resources/blog/mcp-security-best-practices
Vizio AI, DX Studio: https://www.vizio.ai/studios/dx-studio
FAQs.
Weiterlesen

Attribution That Survives Your Tool Stack: Keeping UTMs From Ad to Booking to CRM

Clean Your CRM Data Before You Add AI: Dedupe, Grain and Ownership

Semantic Layer First: Getting Your BI Ready for AI Agents

How F&B CMOs Use Generative AI In Business For Location Decisions

How Real Estate Firms Use Business Analytics For City Parks To Drive Value

Data Storytelling and Visualization

When Does a Business Actually Need Digital Transformation?

Analytics for Product Recommendations

Data Analyst vs. Data Quality Analyst

The Best NoSQL Analytics Tools 2024



