Kontextfenster

Das Kontextfenster bezeichnet die maximale Anzahl an Token, die ein Sprachmodell innerhalb einer Verarbeitung berücksichtigen kann.

Je nach Modell und Anbieter teilen sich Eingabe und mögliche Ausgabe dieses Budget oder unterliegen zusätzlichen Einzelgrenzen. Wird ein Grenzwert überschritten, muss die Anwendung Kontext kürzen, aufteilen oder die Anfrage ablehnen.

Warum das Kontextfenster begrenzt ist

Die unterstützte Kontextlänge hängt von Modellarchitektur, Training, Laufzeitumgebung und den Grenzen des jeweiligen Angebots ab.

Mehr Kontext benötigt in der Regel zusätzliche Rechenleistung und Speicher. Wie sich Aufwand, Latenz und Kosten entwickeln, unterscheidet sich jedoch nach Modell und technischer Implementierung.

Die unterstützte Token-Anzahl unterscheidet sich deutlich zwischen Modellen und kann sich mit neuen Versionen ändern. Verbindlich ist daher die Dokumentation der konkret eingesetzten Modellversion.

Eine Umrechnung von Token in Wörter liefert nur eine grobe Schätzung, da Sprache, Schreibweise und Tokenisierung das Verhältnis beeinflussen.

Warum größer nicht automatisch besser ist

Ein größeres Kontextfenster erlaubt mehr Dokumente oder einen längeren Verlauf innerhalb einer Anfrage. Die bloße Verfügbarkeit dieses Platzes sagt jedoch nichts darüber aus, wie zuverlässig das Modell jede enthaltene Information berücksichtigt.

Relevante, gut strukturierte Auswahl bleibt daher wichtiger als möglichst viel Kontext.

Was das für Architekturentscheidungen bedeutet

Für Agenten, Dokumentanalyse oder lange Dialoge ist die Kontextlänge eine konkrete Architekturgrenze. Mehr verarbeiteter Kontext beeinflusst außerdem Inferenzkosten, Latenz und gegebenenfalls Ergebnisqualität.

Legen Sie fest, welche Informationen für den jeweiligen Schritt erforderlich sind, wie ältere Inhalte verdichtet werden und wann eine externe Wissens- oder Zustandsspeicherung geeigneter ist.