Zum Inhalt springen

Leitfäden

Unternehmensdaten

RAG oder Fine-Tuning: Wie sollten Sie Ihre Unternehmensdaten mit einem KI-Modell nutzen?

RAG, wenn Antworten aus aktuellen Firmendokumenten kommen müssen; Fine-Tuning für festes Format oder Verhalten. Wann Sie beides kombinieren oder ein langer Prompt reicht.

6 Min. Lesezeit

Geprüft am

Facebook-Logo
X-Logo
LinkedIn-Logo
Reddit-Logo
Telegram-Logo

RAG, Fine-Tuning, beides oder ein langer Prompt

01RAGAm besten fürAntworten, die aus Ihren aktuellen Dokumenten kommen müssen, mit einer Quelle, die ein Mensch prüfen kann02Fine-TuningAm besten fürEin festes Format, ein Ton oder eine Klassifizierungsaufgabe, die Prompting allein nicht trifft03BeidesAm besten fürEine spezialisierte Aufgabe, die zusätzlich sich ändernde Fakten braucht04Prompting mit langem KontextAm besten fürEin kleiner, stabiler Dokumentenbestand, der in eine Anfrage passt
Verglichen nach01RAG02Fine-Tuning03Beides04Prompting mit langem Kontext
Typische KostenEmbeddings, Vektorspeicher und die zusätzlichen Tokens, die abgerufener Text jeder Anfrage hinzufügtAufbereitung gelabelter Beispiele und Trainingsläufe, danach die Nutzung des angepassten ModellsDie Kosten beider, plus der Aufwand, sie abzustimmenTokens für den gesamten Dokumentenbestand bei jeder Anfrage; Prompt Caching senkt wiederkehrende Kosten
Wenn sich Ihre Daten ändernGeänderte Dokumente neu indexierenMit neuen Beispielen erneut trainierenFakten neu indexieren; nur neu trainieren, wenn sich das Verhalten ändern mussDie gesendeten Dokumente bearbeiten
Daten und SicherheitZugriffsregeln lassen sich beim Abruf der Textstellen anwendenTrainingsdaten prägen das Modell; einen Datensatz zu entfernen heißt, neu zu trainierenBeide Kontrollsysteme geltenAlles im Prompt geht bei jedem Aufruf an das Modell
Zeit bis zum LaunchKurz für eine erste VersionAm längsten unter den Einzeloptionen: braucht Daten, Training und EvaluierungInsgesamt am längstenAm kürzesten
HauptrisikoDie falsche Textstelle wird abgerufen, und die Antwort ist selbstsicher falschDas Modell lernt aus veralteten oder unsauberen BeispielenZwei Systeme, die auseinanderlaufenDie Genauigkeit sinkt, je länger der Prompt wird

Fine-Tuning verändert, wie sich ein Modell verhält. Es gibt dem Modell keinen Weg, Fakten nachzuschlagen, die sich nach dem Training geändert haben; deshalb beginnen die meisten Projekte mit Unternehmensdaten mit RAG oder einem langen Prompt.

Wann RAG die richtige Wahl ist

Nutzen Sie RAG, wenn die Antwort bereits in Ihren Dokumenten steht und Sie zeigen müssen, woher sie stammt. Retrieval-Augmented Generation findet die Textstellen, die zu einer Frage passen, und fügt sie dem Prompt hinzu, sodass das Modell aus Ihrem Text antwortet und nicht aus dem Gedächtnis.

  • Ihre Inhalte ändern sich. Richtlinien, Handbücher, Verträge, Tickets oder Produktdaten, die jeden Monat aktualisiert werden.

  • Verschiedene Personen dürfen Verschiedenes sehen. Der Abruf kann Ihren bestehenden Zugriffsregeln folgen, sodass Nutzer nur Textstellen erhalten, die sie lesen dürfen.

  • Sie brauchen Quellenangaben. Jede Antwort kann auf das verwendete Dokument verweisen, was Fehler leichter erkennbar macht.

Technisch werden Dokumente in Abschnitte zerlegt, in Embeddings umgewandelt und in einer Vektordatenbank gespeichert. Der Retrieval-Leitfaden von OpenAI zum Beispiel teilt Dateien standardmäßig in Abschnitte von 800 Tokens mit 400 Tokens Überlappung und berechnet 0,10 $ pro GB und Tag für Vektorspeicher über dem ersten 1 GB. Anthropic bietet kein eigenes Embedding-Modell an und verweist Entwickler auf Voyage AI.

Wann sich Fine-Tuning lohnt

Setzen Sie auf Fine-Tuning, wenn das Modell eine Aufgabe jedes Mal gleich erledigen muss und bessere Prompts nicht mehr helfen. Die Vertex-AI-Dokumentation von Google empfiehlt überwachtes Fine-Tuning für Klassifizierung, Stimmungsanalyse und Entitätsextraktion und rät zu Prompting, wenn Sie wenige gelabelte Daten haben. Der Leitfaden von OpenAI nennt Ausgabeformate und Probleme beim Befolgen von Anweisungen als passende Fälle und weist darauf hin, dass ein angepasstes Modell mit kürzeren Prompts auskommt, was bei großem Volumen Tokens spart.

Prüfen Sie den Anbieter, bevor Sie planen. Stand 17. November 2026 gibt OpenAI an, seine Fine-Tuning-Plattform auslaufen zu lassen: Neue Nutzer haben keinen Zugang mehr, bestehende Nutzer können nur noch in den kommenden Monaten Trainingsjobs anlegen. Vertex AI von Google listet weiterhin überwachtes, präferenzbasiertes und Reinforcement-Tuning für mehrere Gemini-Modelle.

Nutzen Sie beides, wenn ein angepasstes Modell Format oder Ton übernimmt und RAG die Fakten liefert. Ein Support-Assistent, der nach der heute gültigen Richtlinie und in Ihrem Hausstil antworten muss, ist ein typischer Fall.

Reicht ein langer Prompt?

Manchmal ja: Ist Ihr Material klein und stabil, packen Sie es in den Prompt und verzichten Sie auf den Abruf. Anthropic schrieb im September 2024, dass eine Wissensbasis unter 200.000 Tokens, etwa 500 Seiten, direkt in den Prompt passt und Prompt Caching wiederholte Anfragen schneller und günstiger macht. Die Dokumentation nennt heute ein Kontextfenster von bis zu 1M Tokens, je nach Modell.

Mehr ist nicht immer besser. Die Dokumentation von Anthropic warnt selbst, dass Genauigkeit und Erinnerungsleistung mit wachsender Tokenzahl abnehmen. Beginnen Sie mit dem langen Prompt, messen Sie ihn an Fragen mit bekannten Antworten und ergänzen Sie den Abruf, wenn die Antworten schlechter oder die Kosten höher werden.

Was sechs Monate nach dem Go-live schiefgeht

  • Der Index veraltet. Neue Dokumente kommen nie hinzu, gelöschte werden weiter gefunden. Indexieren Sie regelmäßig neu und immer dann, wenn sich ein Quellsystem ändert.

  • Berechtigungen lecken. Ein Dokument, das in einen geschützten Ordner verschoben wurde, steht noch im Index. Synchronisieren Sie Zugriffsregeln, nicht nur Dateien.

  • Die Qualität sinkt, und niemand merkt es. Ohne feste Testfragen mit bekannten Antworten erfahren Sie von Fehlern nur durch Nutzer. Der Leitfaden von OpenAI nennt das Schreiben von Evals als ersten Schritt.

  • Das Basismodell des angepassten Modells wird eingestellt. Laut OpenAI bleiben feinabgestimmte Modelle verfügbar, bis ihre Basismodelle abgekündigt werden. Planen Sie ein neues Training oder einen Umzug ein.

  • Erfundene Antworten kehren zurück. Findet der Abruf nichts Brauchbares, antwortet das Modell womöglich trotzdem. Weisen Sie es an, zu sagen, wenn die Dokumente die Frage nicht abdecken, und achten Sie in Ihrem Testset auf Halluzinationen.

So gehen wir bei Vizio AI vor

Wir beginnen bei den Daten, nicht beim Modell. In einer kostenlosen Datenanalyse sehen wir uns an, wo Ihre Dokumente und Datensätze liegen, wie sauber und aktuell sie sind, wer was sehen darf und welche Fragen die Menschen tatsächlich beantwortet haben wollen. Dann bauen wir ein kleines Testset, probieren den einfachsten Ansatz, der funktionieren könnte, oft einen langen Prompt oder einfaches RAG, und messen ihn, bevor wir etwas Komplexeres ergänzen. Fine-Tuning kommt erst ins Spiel, wenn das Testset ein Verhaltensproblem zeigt, das Prompting und Abruf nicht lösen.

Wann Vizio AI die falsche Wahl ist

  • Ihre Mitarbeitenden wollen nur Fragen zu Dateien stellen, die bereits in Microsoft 365 oder Google Workspace liegen. Probieren Sie zuerst den Assistenten, der in diese Suite eingebaut ist. Zu Agenten in Microsoft 365 siehe Copilot Studio oder n8n.

  • Sie haben eigene Machine-Learning-Ingenieure und ein klares Evaluierungsset. Dann brauchen Sie eher eine zweite Meinung als einen Umsetzungspartner.

  • Sie haben noch nicht das Recht, die Daten zu nutzen, oder sie sind noch nicht erhoben. Klären Sie zuerst Zugriff und Einwilligung.

FAQs

01

02

03

04

05

Quellen

  1. OpenAI: Leitfaden Model optimizationFine-Tuning-Methoden und Einsatzzwecke; Hinweis, dass die Fine-Tuning-Plattform ausläuft; gelesen am 17. November 2026
  2. OpenAI: Leitfaden RetrievalStandardgröße und Überlappung der Abschnitte, Preise für Vektorspeicher
  3. Google Cloud: Gemini-Modelle in Vertex AI anpassenwann sich Tuning eignet, unterstützte Tuning-Methoden
  4. Anthropic: Context windowsKontextfenster bis 1M Tokens; Genauigkeit und Erinnerung sinken mit wachsendem Kontext
  5. Anthropic: Embeddingskein eigenes Embedding-Modell von Anthropic; Voyage AI empfohlen
  6. Anthropic: Introducing Contextual Retrievalveröffentlicht am 19. September 2024; Wissensbasen unter 200.000 Tokens passen in den Prompt

Weitere Leitfäden

  • Workflow-Automatisierung

    Microsoft Copilot Studio oder n8n: Wo sollten Sie KI-Agenten und Automatisierungen bauen?

    Wählen Sie Microsoft Copilot Studio, wenn Ihr Unternehmen auf Microsoft 365 läuft, Ihre Agenten vor allem den eigenen Mitarbeitenden dienen und die IT die Verwaltungs- und Abrechnungskontrollen von Microsoft möchte. Wählen Sie n8n, wenn Ihre Tools von vielen Anbietern stammen, Sie selbst hosten oder pro Workflow-Lauf zahlen möchten und jemand im Team die Pflege übernimmt.

    Geprüft am

  • KI-Einführung

    Sollten Sie einen KI-Berater, eine KI-Agentur beauftragen oder ein internes KI-Team aufbauen?

    Beauftragen Sie einen Berater, wenn Sie vor Investitionen in die Umsetzung Prioritäten und einen Readiness-Check brauchen; wählen Sie eine Agentur oder ein Studio, wenn Systeme innerhalb von Monaten live sein sollen und Ihnen das Team dafür fehlt. Bauen Sie intern auf, wenn KI Kern Ihres Produkts ist und Sie Spezialisten über Jahre gewinnen und halten können.

    Geprüft am

  • KI-Coding-Agenten

    Claude Code, Cursor oder Codex: Welchen KI-Coding-Agenten sollte Ihr Team nutzen?

    Wählen Sie Claude Code, wenn Ihr Team einen Agenten will, den es im Terminal, in einer Desktop-App oder im Browser nutzen kann; wählen Sie Cursor, wenn die Bauenden in einem Editor arbeiten und jede Änderung annehmen wollen. Wählen Sie Codex, wenn Ihr Unternehmen bereits für ChatGPT Business oder Enterprise zahlt. Benennen Sie in jedem Fall eine Person, die den Code prüft und verantwortet.

    Geprüft am

AI-first denken.
Zukunftsschnell handeln.

Lassen Sie uns bauen, was als Nächstes kommt! Von Produktideen und intelligenten Workflows bis zu datengetriebenen Systemen und skalierbaren Growth Operations.

Strategiegespräch buchen