RAG, Fine-Tuning, beides oder ein langer Prompt
| Verglichen nach | 01RAG | 02Fine-Tuning | 03Beides | 04Prompting mit langem Kontext |
|---|---|---|---|---|
| Typische Kosten | Embeddings, Vektorspeicher und die zusätzlichen Tokens, die abgerufener Text jeder Anfrage hinzufügt | Aufbereitung gelabelter Beispiele und Trainingsläufe, danach die Nutzung des angepassten Modells | Die Kosten beider, plus der Aufwand, sie abzustimmen | Tokens für den gesamten Dokumentenbestand bei jeder Anfrage; Prompt Caching senkt wiederkehrende Kosten |
| Wenn sich Ihre Daten ändern | Geänderte Dokumente neu indexieren | Mit neuen Beispielen erneut trainieren | Fakten neu indexieren; nur neu trainieren, wenn sich das Verhalten ändern muss | Die gesendeten Dokumente bearbeiten |
| Daten und Sicherheit | Zugriffsregeln lassen sich beim Abruf der Textstellen anwenden | Trainingsdaten prägen das Modell; einen Datensatz zu entfernen heißt, neu zu trainieren | Beide Kontrollsysteme gelten | Alles im Prompt geht bei jedem Aufruf an das Modell |
| Zeit bis zum Launch | Kurz für eine erste Version | Am längsten unter den Einzeloptionen: braucht Daten, Training und Evaluierung | Insgesamt am längsten | Am kürzesten |
| Hauptrisiko | Die falsche Textstelle wird abgerufen, und die Antwort ist selbstsicher falsch | Das Modell lernt aus veralteten oder unsauberen Beispielen | Zwei Systeme, die auseinanderlaufen | Die Genauigkeit sinkt, je länger der Prompt wird |
Fine-Tuning verändert, wie sich ein Modell verhält. Es gibt dem Modell keinen Weg, Fakten nachzuschlagen, die sich nach dem Training geändert haben; deshalb beginnen die meisten Projekte mit Unternehmensdaten mit RAG oder einem langen Prompt.
Wann RAG die richtige Wahl ist
Nutzen Sie RAG, wenn die Antwort bereits in Ihren Dokumenten steht und Sie zeigen müssen, woher sie stammt. Retrieval-Augmented Generation findet die Textstellen, die zu einer Frage passen, und fügt sie dem Prompt hinzu, sodass das Modell aus Ihrem Text antwortet und nicht aus dem Gedächtnis.
Ihre Inhalte ändern sich. Richtlinien, Handbücher, Verträge, Tickets oder Produktdaten, die jeden Monat aktualisiert werden.
Verschiedene Personen dürfen Verschiedenes sehen. Der Abruf kann Ihren bestehenden Zugriffsregeln folgen, sodass Nutzer nur Textstellen erhalten, die sie lesen dürfen.
Sie brauchen Quellenangaben. Jede Antwort kann auf das verwendete Dokument verweisen, was Fehler leichter erkennbar macht.
Technisch werden Dokumente in Abschnitte zerlegt, in Embeddings umgewandelt und in einer Vektordatenbank gespeichert. Der Retrieval-Leitfaden von OpenAI zum Beispiel teilt Dateien standardmäßig in Abschnitte von 800 Tokens mit 400 Tokens Überlappung und berechnet 0,10 $ pro GB und Tag für Vektorspeicher über dem ersten 1 GB. Anthropic bietet kein eigenes Embedding-Modell an und verweist Entwickler auf Voyage AI.
Wann sich Fine-Tuning lohnt
Setzen Sie auf Fine-Tuning, wenn das Modell eine Aufgabe jedes Mal gleich erledigen muss und bessere Prompts nicht mehr helfen. Die Vertex-AI-Dokumentation von Google empfiehlt überwachtes Fine-Tuning für Klassifizierung, Stimmungsanalyse und Entitätsextraktion und rät zu Prompting, wenn Sie wenige gelabelte Daten haben. Der Leitfaden von OpenAI nennt Ausgabeformate und Probleme beim Befolgen von Anweisungen als passende Fälle und weist darauf hin, dass ein angepasstes Modell mit kürzeren Prompts auskommt, was bei großem Volumen Tokens spart.
Prüfen Sie den Anbieter, bevor Sie planen. Stand 17. November 2026 gibt OpenAI an, seine Fine-Tuning-Plattform auslaufen zu lassen: Neue Nutzer haben keinen Zugang mehr, bestehende Nutzer können nur noch in den kommenden Monaten Trainingsjobs anlegen. Vertex AI von Google listet weiterhin überwachtes, präferenzbasiertes und Reinforcement-Tuning für mehrere Gemini-Modelle.
Nutzen Sie beides, wenn ein angepasstes Modell Format oder Ton übernimmt und RAG die Fakten liefert. Ein Support-Assistent, der nach der heute gültigen Richtlinie und in Ihrem Hausstil antworten muss, ist ein typischer Fall.
Reicht ein langer Prompt?
Manchmal ja: Ist Ihr Material klein und stabil, packen Sie es in den Prompt und verzichten Sie auf den Abruf. Anthropic schrieb im September 2024, dass eine Wissensbasis unter 200.000 Tokens, etwa 500 Seiten, direkt in den Prompt passt und Prompt Caching wiederholte Anfragen schneller und günstiger macht. Die Dokumentation nennt heute ein Kontextfenster von bis zu 1M Tokens, je nach Modell.
Mehr ist nicht immer besser. Die Dokumentation von Anthropic warnt selbst, dass Genauigkeit und Erinnerungsleistung mit wachsender Tokenzahl abnehmen. Beginnen Sie mit dem langen Prompt, messen Sie ihn an Fragen mit bekannten Antworten und ergänzen Sie den Abruf, wenn die Antworten schlechter oder die Kosten höher werden.
Was sechs Monate nach dem Go-live schiefgeht
Der Index veraltet. Neue Dokumente kommen nie hinzu, gelöschte werden weiter gefunden. Indexieren Sie regelmäßig neu und immer dann, wenn sich ein Quellsystem ändert.
Berechtigungen lecken. Ein Dokument, das in einen geschützten Ordner verschoben wurde, steht noch im Index. Synchronisieren Sie Zugriffsregeln, nicht nur Dateien.
Die Qualität sinkt, und niemand merkt es. Ohne feste Testfragen mit bekannten Antworten erfahren Sie von Fehlern nur durch Nutzer. Der Leitfaden von OpenAI nennt das Schreiben von Evals als ersten Schritt.
Das Basismodell des angepassten Modells wird eingestellt. Laut OpenAI bleiben feinabgestimmte Modelle verfügbar, bis ihre Basismodelle abgekündigt werden. Planen Sie ein neues Training oder einen Umzug ein.
Erfundene Antworten kehren zurück. Findet der Abruf nichts Brauchbares, antwortet das Modell womöglich trotzdem. Weisen Sie es an, zu sagen, wenn die Dokumente die Frage nicht abdecken, und achten Sie in Ihrem Testset auf Halluzinationen.
So gehen wir bei Vizio AI vor
Wir beginnen bei den Daten, nicht beim Modell. In einer kostenlosen Datenanalyse sehen wir uns an, wo Ihre Dokumente und Datensätze liegen, wie sauber und aktuell sie sind, wer was sehen darf und welche Fragen die Menschen tatsächlich beantwortet haben wollen. Dann bauen wir ein kleines Testset, probieren den einfachsten Ansatz, der funktionieren könnte, oft einen langen Prompt oder einfaches RAG, und messen ihn, bevor wir etwas Komplexeres ergänzen. Fine-Tuning kommt erst ins Spiel, wenn das Testset ein Verhaltensproblem zeigt, das Prompting und Abruf nicht lösen.
Wann Vizio AI die falsche Wahl ist
Ihre Mitarbeitenden wollen nur Fragen zu Dateien stellen, die bereits in Microsoft 365 oder Google Workspace liegen. Probieren Sie zuerst den Assistenten, der in diese Suite eingebaut ist. Zu Agenten in Microsoft 365 siehe Copilot Studio oder n8n.
Sie haben eigene Machine-Learning-Ingenieure und ein klares Evaluierungsset. Dann brauchen Sie eher eine zweite Meinung als einen Umsetzungspartner.
Sie haben noch nicht das Recht, die Daten zu nutzen, oder sie sind noch nicht erhoben. Klären Sie zuerst Zugriff und Einwilligung.
FAQs
Quellen
- OpenAI: Leitfaden Model optimizationFine-Tuning-Methoden und Einsatzzwecke; Hinweis, dass die Fine-Tuning-Plattform ausläuft; gelesen am 17. November 2026
- OpenAI: Leitfaden RetrievalStandardgröße und Überlappung der Abschnitte, Preise für Vektorspeicher
- Google Cloud: Gemini-Modelle in Vertex AI anpassenwann sich Tuning eignet, unterstützte Tuning-Methoden
- Anthropic: Context windowsKontextfenster bis 1M Tokens; Genauigkeit und Erinnerung sinken mit wachsendem Kontext
- Anthropic: Embeddingskein eigenes Embedding-Modell von Anthropic; Voyage AI empfohlen
- Anthropic: Introducing Contextual Retrievalveröffentlicht am 19. September 2024; Wissensbasen unter 200.000 Tokens passen in den Prompt
