Kontextfenster

Definition

Das Kontextfenster ist die maximale Anzahl Tokens, die ein Sprachmodell in einer einzigen Anfrage verarbeiten kann. Es umfasst alles, was das Modell gleichzeitig sehen muss: den System-Prompt mit Rollendefinition und Werkzeugen, die bisherige Konversationsgeschichte, die aktuelle Nutzer-Eingabe, etwaige Tool-Resultate sowie die generierte Antwort selbst.

Das Kontextfenster ist eine harte Grenze, die durch die Architektur und das Training festgelegt wird. Wird sie überschritten, muss die Anwendung Inhalte abschneiden, zusammenfassen oder via Retrieval-Augmented Generation (RAG) auslagern. In Konversations-Anwendungen ist Kontext-Management daher eine der zentralen Engineering-Aufgaben.

Mechanismus

Die Grenze des Kontextfensters ergibt sich aus dem Zusammenspiel von Attention-Mechanismus, Positional Encoding und Speicher-Layout während des Trainings. Self-Attention skaliert quadratisch in der Sequenzlänge: Verdoppelung der Tokens vervierfacht den Speicher- und Rechenbedarf in der naiven Implementierung. Lange Kontexte wurden daher erst durch eine Kombination mehrerer Techniken praktikabel.

Flash Attention (Dao et al., 2022) reorganisiert die Berechnung der Attention-Matrix so, dass nur kleine Tile-weise Zwischenresultate im schnellen On-Chip-Speicher gehalten werden. Sliding Window Attention beschränkt jeden Token auf einen lokalen Nachbarbereich plus wenige globale Tokens (Longformer, Mistral). Rotary Position Embeddings (RoPE) und ALiBi (Press et al., 2022) erlauben Extrapolation auf längere Sequenzen, ohne das Modell komplett neu zu trainieren.

Aktuelle Frontier-Modelle nutzen meist eine Mischung: Flash Attention als Default, dazu RoPE mit Extrapolations-Anpassungen wie YaRN, und teils Mixture-of-Experts, das die Inferenz-Kosten von den nominalen Parametern entkoppelt. Anthropic Claude, Google Gemini und OpenAI GPT-4 setzen alle auf diese Kombination.

Praxis

Das Kontextfenster ist 2026 eines der zentralen Wettbewerbsfelder unter Frontier-Modellen. Anthropic Claude bietet 1M Tokens, Google Gemini 2M, OpenAI GPT-4 je nach Variante 128k bis 1M, Meta Llama 3.x 128k. Spezialisierte Forschungs-Modelle haben Fenster im zweistelligen Millionen-Bereich demonstriert, sind aber selten produktiv.

Konkrete Grössenordnungen: 1M Tokens entsprechen rund 750.000 englischen Wörtern oder 1500 A4-Seiten. Eine grosse Codebase mit 500.000 Zeilen Python passt damit komplett in einen Request. Ein juristisches Vertragswerk, ein vollständiges Buch oder eine Sammlung mehrerer wissenschaftlicher Papers werden in einer einzigen Anfrage analysierbar.

Anwendungsfälle profitieren typisch in drei Bereichen: Analyse grosser Dokumentsammlungen ohne RAG, Coding-Agents mit Zugriff auf komplette Repository-Kontexte, sowie langläufige Konversationen mit persistentem Gedächtnis. Caching senkt die Kosten für wiederverwendete System-Prompts dramatisch und macht 100k+ Token System-Prompts wirtschaftlich tragbar.

Häufige Fehler

• Nominale mit effektiver Länge verwechseln: Ein 1M-Modell ruft Informationen nicht automatisch perfekt aus dem ganzen Fenster ab. Needle-in-a-Haystack-Tests vor Produktiv-Einsatz sind Pflicht.
• Kostenexplosion durch lange Konversationen: Jede neue Anfrage trägt die komplette Historie. Ohne Summarisierung oder Truncation wachsen die Kosten quadratisch mit der Konversationslänge.
• Lost in the Middle ignorieren: Wichtige Anweisungen gehören an Anfang oder Ende des Prompts, nicht in die Mitte.
• Output-Tokens unterschätzen: Output zählt voll ins Fenster und ist teurer. Bei langen Outputs schrumpft der nutzbare Input.
• Caching nicht nutzen: Wiederholte System-Prompts ohne Caching verbrennen Geld. Anthropic und OpenAI bieten beide Caching-Mechanismen.

Abgrenzung

• Vokabular-Grösse: Anzahl möglicher unterschiedlicher Tokens, fix pro Modell, ändert nichts an der Fenstergrösse.
• Trainings-Kontext: Die maximale Länge, mit der das Modell trainiert wurde, kann kleiner sein als die nominal angebotene Inferenz-Länge.
• Retrieval-Augmented Generation: komplementäre Technik, holt relevante Chunks aus einer externen Datenbank statt alles ins Fenster zu stopfen.
• Memory: persistenter Zustand zwischen Sessions, lebt ausserhalb des Kontextfensters und wird bei Bedarf injiziert.