Token

Ein Token ist eine Einheit, in die ein Modell Text für die Verarbeitung zerlegt. Je nach Tokenizer kann ein Token ein Wort, einen Wortteil, ein Satzzeichen oder eine andere Zeichenfolge darstellen.

Warum Modelle mit Token statt mit Zeichen oder Wörtern arbeiten

Die Tokenisierung bildet Text auf ein begrenztes Vokabular numerischer Kennungen ab. Dadurch kann das Modell auch unbekannte Wörter aus kleineren, bereits vorhandenen Einheiten zusammensetzen.

Unterschiedliche Modelle können denselben Text unterschiedlich tokenisieren.

Warum Token für Kosten und Geschwindigkeit entscheidend sind

Viele Sprachmodell-APIs berechnen Eingabe- und Ausgabe-Token getrennt und zu unterschiedlichen Preisen. Lange Dokumente erhöhen daher Nutzung und Kosten auch bei einer kurzen eigentlichen Frage.

Die Zahl der erzeugten Token beeinflusst zudem die Antwortdauer, weil autoregressive Modelle Ausgaben schrittweise erzeugen. Für belastbare Kalkulationen zählt die Tokenisierung der konkret eingesetzten Modellversion.

Der Zusammenhang mit dem Kontextfenster

Das Kontextfenster eines Sprachmodells wird in Token angegeben. Die verfügbare Kapazität muss Eingaben, mitgegebenen Kontext und je nach Angebot auch die mögliche Ausgabe berücksichtigen.

Eine realistische Token-Schätzung zeigt, ob Dokumente oder Verläufe in eine Anfrage passen, aufgeteilt werden müssen oder eine andere Architektur benötigen.