Token
Ein Token ist eine Verarbeitungseinheit für Text, häufig ein Wort, Wortteil oder Satzzeichen. Token bestimmen unter anderem Kosten, Geschwindigkeit und Kontextgröße.
Ein Token ist eine Einheit, in die ein Modell Text für die Verarbeitung zerlegt. Je nach Tokenizer kann ein Token ein Wort, einen Wortteil, ein Satzzeichen oder eine andere Zeichenfolge darstellen.
Warum Modelle mit Token statt mit Zeichen oder Wörtern arbeiten
Die Tokenisierung bildet Text auf ein begrenztes Vokabular numerischer Kennungen ab. Dadurch kann das Modell auch unbekannte Wörter aus kleineren, bereits vorhandenen Einheiten zusammensetzen.
Unterschiedliche Modelle können denselben Text unterschiedlich tokenisieren.
Warum Token für Kosten und Geschwindigkeit entscheidend sind
Viele Sprachmodell-APIs berechnen Eingabe- und Ausgabe-Token getrennt und zu unterschiedlichen Preisen. Lange Dokumente erhöhen daher Nutzung und Kosten auch bei einer kurzen eigentlichen Frage.
Die Zahl der erzeugten Token beeinflusst zudem die Antwortdauer, weil autoregressive Modelle Ausgaben schrittweise erzeugen. Für belastbare Kalkulationen zählt die Tokenisierung der konkret eingesetzten Modellversion.
Der Zusammenhang mit dem Kontextfenster
Das Kontextfenster eines Sprachmodells wird in Token angegeben. Die verfügbare Kapazität muss Eingaben, mitgegebenen Kontext und je nach Angebot auch die mögliche Ausgabe berücksichtigen.
Eine realistische Token-Schätzung zeigt, ob Dokumente oder Verläufe in eine Anfrage passen, aufgeteilt werden müssen oder eine andere Architektur benötigen.
Verwandte Begriffe
Verwandte Begriffe
Kontextfenster
Das Kontextfenster ist die maximale Menge an Text, gemessen in Token, die ein Sprachmodell bei einer einzelnen Anfrage gleichzeitig verarbeiten kann.
Begriff ansehen
Large Language Model (LLM)
Ein Large Language Model ist ein auf großen Textmengen trainiertes KI-Modell, das sprachliche Muster verarbeitet und damit Texte erzeugen, zusammenfassen und bearbeiten kann.
Begriff ansehen
Passende Themen
Passende Themen
Private AI Infrastructure
Wir klären, ob private KI-Infrastruktur für Ihren Anwendungsfall sinnvoll ist und welche Fragen zu Daten, Sicherheit und Betrieb vorab beantwortet werden müssen.
Übersicht ansehen
Passende Leistungen
Passende Leistungen
Infrastruktur
Für KI-, Automatisierungs- und Softwaresysteme, deren Daten, Verfügbarkeit und Betrieb klare technische Anforderungen stellen.
Übersicht ansehen
Was möchten Sie technisch klären oder umsetzen?
Schildern Sie kurz die Ausgangslage, Ihr Ziel und die beteiligten Systeme. Wir melden uns mit einer fachlichen Einschätzung und einem Vorschlag für den nächsten sinnvollen Schritt.