Kontextfenster

Ein Kontextfenster ist die maximale Textmenge (gemessen in Tokens), die ein Sprachmodell gleichzeitig berücksichtigen kann. Es umfasst alles, womit das Modell in einer einzelnen Konversation arbeitet: die Systemanweisungen, den Prompt des Benutzers, jede Konversationshistorie, alle abgerufenen Dokumente und die Antwort, die das Modell generiert. Sobald der kombinierte Text das Fenster überschreitet, kann das Modell den Überlauf nicht mehr “sehen”, sodass das älteste oder am wenigsten relevante Material verworfen, zusammengefasst oder bei Bedarf abgerufen werden muss.

Kurz gesagt: Das Kontextfenster ist der Arbeitsspeicher des Modells für eine einzelne Konversation.

Wie ein Kontextfenster funktioniert

Ein Modell liest keine Zeichen oder Wörter direkt; es liest Tokens, und das Fenster ist ein festes Token-Budget für den gesamten Austausch:

1. Tokenisierung: Der Eingabetext wird in Tokens (Sub-Wort-Einheiten) zerlegt, und das Fenster wird in Tokens statt in Wörtern oder Zeichen gezählt.
2. Gemeinsames Budget: Das Fenster wird auf den System-Prompt, die Konversationshistorie, den abgerufenen Kontext und die generierte Ausgabe aufgeteilt, sodass mehr von einem weniger Platz für die anderen lässt.
3. Attention-Muster: In standardmäßigen Full-Attention-Transformern können Tokens im aktiven Fenster breit über dieses Fenster hinweg Aufmerksamkeit ausüben. Einige Long-Context-Architekturen verwenden stattdessen dünnbesetzte, lokale oder Sliding-Window-Attention-Muster, sodass die Aufmerksamkeit nicht immer uneingeschränkt all-to-all über den gesamten Kontext hinweg ist.
4. Umgang mit Überlauf: Wenn der Inhalt das Limit überschreiten würde, muss die Anwendung kürzen, zusammenfassen oder selektiv abrufen, damit das relevanteste Material passt.
5. Positionseffekte: Modelle nutzen Informationen am Anfang und Ende eines langen Fensters oft zuverlässiger als Material, das in der Mitte vergraben ist – ein Effekt, der manchmal als lost in the middle bezeichnet wird.

Der entscheidende Punkt ist, dass ein größeres Kontextfenster einem Modell ermöglicht, mehr auf einmal aufzunehmen, aber es garantiert nicht, dass das Modell jeden Teil gleich gut nutzt: Relevanz und Platzierung spielen weiterhin eine Rolle.

Kontextfenster vs. Speicher und Retrieval

• Langzeitgedächtnis bleibt über Sitzungen hinweg bestehen und existiert außerhalb des Modells; das Kontextfenster enthält nur das, was in der aktuellen Konversation vorhanden ist.
• Trainingswissen ist in die Gewichte des Modells eingebrannt und immer verfügbar; das Kontextfenster wird zur Anfragezeit neu befüllt und ist der Ort, an dem neue oder private Informationen platziert werden müssen.
• Retrieval (RAG) wählt nur die relevantesten Passagen aus, um in das Kontextfenster zu passen; das Kontextfenster ist der begrenzte Raum, um den diese Passagen konkurrieren.

Wo das Kontextfenster von Bedeutung ist

• Lange Konversationen: Wenn ein Chat wächst, fallen ältere Teile der Konversation schließlich aus dem Kontextfenster heraus, es sei denn, sie werden zusammengefasst oder gespeichert – deshalb können Assistenten den Anschein erwecken, frühere Details zu “vergessen”.
• RAG und Dokument-Q&A: Abgerufene Chunks müssen neben dem Prompt und der Antwort passen, sodass die Chunk-Größe und die Anzahl der abgerufenen Chunks beide durch das Kontextfenster begrenzt sind.
• Aufgaben mit langen Dokumenten: Das Zusammenfassen oder Analysieren großer Dateien hängt entweder von einem ausreichend großen Kontextfenster oder von einer Strategie ab, das Dokument in Teilen einzuspeisen.
• Kosten und Latenz: Mehr Tokens im Kontextfenster bedeuten im Allgemeinen höhere Kosten und langsamere Antworten, sodass es genauso wichtig ist, es effizient zu füllen, wie seine reine Größe.

Das Kontextfenster ist ein Budget, das verwaltet werden muss, nicht nur eine Zahl, die maximiert werden soll: Das Ziel ist es, die richtigen Informationen unterzubringen, nicht alle Informationen.

Verwandte Begriffe

Token, Tokenisierung, Retrieval-Augmented Generation (RAG), Chunking, Prompt, großes Sprachmodell (LLM), Langzeitgedächtnis, lost in the middle, Inferenzkosten.