Zum Inhalt springen

Glossar

KI & Machine Learning

Kontextfenster (Context Window)

Ein Kontextfenster ist die maximale Textmenge, gemessen in Tokens, die ein Large Language Model auf einmal berücksichtigen kann; es umfasst den System-Prompt, den Gesprächsverlauf, abgerufene Dokumente und die generierte Antwort.

Aktualisiert am · Vom VIZIO AI Team

Was ist ein Kontextfenster?

Das Kontextfenster ist das Arbeitsgedächtnis des Modells für eine einzelne Anfrage; alles außerhalb davon existiert für das Modell schlicht nicht. Modelle erinnern sich nicht an frühere Gespräche, es sei denn, dieser Verlauf wird erneut innerhalb des Fensters mitgeschickt.

Alles konkurriert um dasselbe Budget:

  • System-Prompt: Anweisungen und Regeln.

  • Gesprächsverlauf: frühere Beiträge von Nutzer und Assistent.

  • Abgerufene Inhalte: Dokumente, Suchergebnisse oder Tool-Ausgaben.

  • Ausgabe: die Tokens, die das Modell generiert, oft durch ein separates maximales Ausgabelimit begrenzt.

Die Fenstergrößen aktueller Modelle unterscheiden sich stark, von einigen Tausend Tokens bei kleinen offenen Modellen bis zu einer Million oder mehr bei einigen Frontier-Modellen.

Wie werden Tokens gezählt, und wie verwaltet man ein Kontextfenster?

Tokens sind Wortbestandteile, und als Faustregel schätzt OpenAI etwa vier Zeichen bzw. drei Viertel eines Wortes pro Token in englischem Text. Andere Sprachen und Code benötigen oft mehr Tokens pro Wort. Verwenden Sie für exakte Zählungen den Tokenizer des Anbieters, etwa die Bibliothek tiktoken von OpenAI.

Gängige Wege, mehr nützliche Informationen ins Fenster zu bekommen:

  1. Abrufen statt vollstopfen: mit Retrieval-Augmented Generation nur die relevanten Passagen abrufen.

  2. Verlauf zusammenfassen: ältere Gesprächsbeiträge zu einer kurzen, fortlaufenden Zusammenfassung verdichten.

  3. Lange Dokumente aufteilen: Abschnitte separat verarbeiten und die Ergebnisse dann zusammenführen (Map-Reduce).

  4. Tool-Ausgaben kürzen: nur benötigte Felder zurückgeben, nicht ganze API-Payloads.

  5. Stabile Präfixe cachen: Prompt-Caching senkt die Kosten, wenn sich dieselben Anweisungen wiederholen.

Wie sieht die Arbeit mit einem Kontextfenster in der Praxis aus?

In der Praxis prägt das Fenster die Architektur: was Sie senden, in welcher Reihenfolge und was Sie weglassen. Nehmen wir ein Legal-Tech-Startup mit 25 Mitarbeitenden, das einen Assistenten für die Vertragsprüfung baut.

Angenommen, ein typischer Rahmendienstleistungsvertrag umfasst 40 Seiten, und Kunden laden zehn zusammengehörige Verträge auf einmal hoch. Alles zu senden wäre langsam und teuer, und bei sehr langen Eingaben sinkt die Qualität. Stattdessen teilt das Team jeden Vertrag in Klauseln auf, speichert deren Embeddings in einer Vektordatenbank und ruft für jede Frage die 15 relevantesten Klauseln samt Quellseite ab.

Der Prompt stellt die Anweisungen an den Anfang und die Frage ans Ende, nach den Klauseln. Antworten müssen Klauselnummern zitieren, damit eine Anwältin oder ein Anwalt jede einzelne prüfen kann, und das Team testet mit einem festen Satz von 100 Fragen, sobald sich die Retrieval-Einstellungen ändern.

Wo liegen die Grenzen großer Kontextfenster?

Ein größeres Fenster erlaubt es, mehr zu senden, garantiert aber nicht, dass das Modell alles davon gut nutzt. Forschung wie das Paper „Lost in the Middle“ von 2023 ergab, dass Modelle Informationen am Anfang und Ende langer Eingaben besser abriefen als Informationen, die in der Mitte vergraben waren.

  • Kosten: Anbieter berechnen pro Eingabe-Token, sodass ein volles Fenster bei jedem Aufruf schnell ins Geld geht.

  • Latenz: Lange Prompts brauchen länger in der Verarbeitung, bevor das erste Token erscheint.

  • Ablenkung: Irrelevanter Text kann Antworten vom Kurs abbringen und das Risiko von Halluzinationen erhöhen.

  • Stilles Abschneiden: Manche Apps verwerfen die ältesten Nachrichten ohne Warnung.

Testen Sie Aufgaben mit langem Kontext mit Ihren eigenen Dokumenten; Benchmarks der Anbieter entsprechen selten echten Daten.

Worin unterscheidet sich ein Kontextfenster vom Modellgedächtnis oder vom Fine-Tuning?

Das Kontextfenster ist pro Anfrage temporär, Fine-Tuning verändert die Gewichte des Modells dauerhaft, und „Memory“-Funktionen sind gespeicherte Notizen, die erneut ins Fenster eingefügt werden. Sie lösen unterschiedliche Probleme.

Nutzen Sie das Fenster für Informationen, die sich häufig ändern oder nutzerspezifisch sind, etwa die heutigen Bestellungen. Nutzen Sie Fine-Tuning, um einen einheitlichen Stil oder ein Format beizubringen, nicht für Fakten, die sich ändern. Memory-Funktionen in Produkten wie ChatGPT speichern kurze Fakten und fügen sie künftigen Prompts hinzu, belegen also weiterhin Platz im Fenster. Frameworks wie LangChain und LlamaIndex enthalten Hilfsfunktionen zum Kürzen, Zusammenfassen und Abrufen von Kontext.

Langer Kontext vs. Retrieval (RAG)

Vollständige Dokumente senden

Retrieval-Augmented Generation

Was ins Fenster kommt

Ganze Dokumente

Nur die relevantesten Passagen

Kosten pro Anfrage

Hoch

Niedriger

Einrichtungsaufwand

Minimal

Chunking, Embeddings, Vektordatenbank

Risiko

Übersehene Details in der Dokumentmitte

Übersehene Passagen, wenn das Retrieval versagt

Am besten geeignet für

Einmalige Analyse weniger Dokumente

Wiederkehrende Fragen über große Bibliotheken

Wie berücksichtigt VIZIO AI Kontextfenster im Design?

VIZIO AI gestaltet Prompts und Inhaltsverarbeitung so, dass langes Quellmaterial in das Modell passt, ohne dass Wesentliches verloren geht. Für Qurio LLC baute unser Venture Studio Briefio AI, eine Mobile-first-Plattform, die lange, dichte wissenschaftliche Arbeiten mithilfe von OpenAI-Modellen in prägnante Zusammenfassungen und Audio verwandelt.

Die Fallstudie beschreibt sorgfältige Arbeit an Prompt-Struktur und Inhaltsverarbeitung, damit die Zusammenfassungen kurz genug blieben, um Zeit zu sparen, aber genau genug, um die Integrität der Originalarbeit zu wahren. Das MVP wurde in 3 Monaten geliefert, einschließlich einer eigenen Audiowiedergabe zum Zuhören unterwegs.

Wo Sie anfangen: Zählen Sie die Tokens Ihrer größten realen Eingabe und testen Sie die Antwortqualität bei dieser Länge, bevor Sie ein Modell auswählen.

Facebook-Logo
X-Logo
LinkedIn-Logo
Reddit-Logo
Telegram-Logo

AI-first denken.
Zukunftsschnell handeln.

Lassen Sie uns bauen, was als Nächstes kommt! Von Produktideen und intelligenten Workflows bis zu datengetriebenen Systemen und skalierbaren Growth Operations.

Strategiegespräch buchen