Ein Token ist die kleinste Texteinheit, mit der ein Sprachmodell rechnet - meist ein Wortteil, ein ganzes kurzes Wort oder ein Satzzeichen.
Bevor ein LLM einen Text verarbeiten kann, wird dieser in Tokens zerlegt (Tokenisierung). Ein englisches Wort entspricht dabei oft etwa 0,75 Tokens, ein deutsches Wort wegen längerer Komposita und Umlauten häufig etwas mehr.
Sowohl das sogenannte Context Window (wie viel Text ein Modell gleichzeitig verarbeiten kann) als auch die Kosten bei API-Nutzung werden in der Regel in Tokens gemessen – Anbieter berechnen meist getrennte Preise für Input-Tokens (der gesendete Text) und Output-Tokens (die generierte Antwort).
Da Tokens keine 1:1-Entsprechung zu Wörtern oder Zeichen haben, kann die tatsächliche Textlänge, die in ein Kontextfenster passt, je nach Sprache und Textart variieren.
