Token (NLP)

Definition

Ein Token ist die kleinste diskrete Einheit, mit der ein Sprachmodell intern rechnet. Es ist die Brücke zwischen Rohtext und numerischen Vektoren, die das neuronale Netz verarbeitet. Praktisch jeder Schritt eines LLMs, vom Embedding über die Attention bis zur Output-Schicht, operiert auf einer Sequenz von Token-IDs.

Tokens sind nicht zwingend identisch mit Wörtern. Sie können ein Wort, ein Wortfragment, ein einzelnes Zeichen, eine Interpunktion, ein Emoji oder ein Steuersymbol sein. Die genaue Zerlegung wird durch den Tokenizer bestimmt, eine Komponente, die zusammen mit dem Modell trainiert oder fixiert wird und das Vokabular definiert.

Mechanismus

Moderne Tokenizer arbeiten fast ausschliesslich mit Sub-Wort-Verfahren. Die drei dominanten Methoden sind Byte-Pair Encoding (BPE), WordPiece und Unigram Language Model, oft kombiniert mit SentencePiece als sprachunabhängiger Implementierung.

Byte-Pair Encoding startet mit einem Vokabular aus Einzelzeichen und merged iterativ das jeweils häufigste Paar von Tokens zu einem neuen Token. Der Vorgang wird wiederholt, bis das gewünschte Vokabular, typisch 30k bis 200k Einträge, erreicht ist. Das Verfahren führt dazu, dass häufige Wörter wie der, und, ist als eigenständige Tokens vorliegen, während seltene Wörter in mehrere Sub-Tokens zerfallen.

WordPiece, von BERT genutzt, ist eine Variante, die statt Häufigkeit eine likelihood-basierte Heuristik nutzt. Unigram Language Model, in SentencePiece verbreitet, optimiert das Vokabular über einen probabilistischen Sprachmodell-Ansatz und produziert tendenziell stabilere Tokenisierungen.

Ein zusätzlicher Trend ist die Byte-Level-Tokenisierung: Texte werden zunächst in UTF-8-Bytes zerlegt, bevor BPE auf der Byte-Ebene angewendet wird. Das eliminiert das Out-of-Vocabulary-Problem komplett, weil jeder Byte-Wert als Token darstellbar ist.

Praxis

In der Praxis hat die Tokenisierung direkte Auswirkungen auf Kosten, Latenz und Qualität. API-Anbieter rechnen pro Input- und Output-Token ab, weshalb eine genaue Vorab-Schätzung Pflicht ist. OpenAI stellt mit tiktoken eine Python-Bibliothek bereit, die exakt das Vokabular der GPT-Modelle abbildet. Anthropic bietet eine analoge Counter-API, Hugging Face liefert Tokenizer für praktisch jedes Open-Source-Modell.

Faustregeln für Englisch: 1 Token entspricht rund 4 Zeichen oder 0.75 Wörtern. Für Deutsch liegt das Verhältnis ungünstiger bei 1.3 bis 1.7 Tokens pro Wort, weil zusammengesetzte Substantive (Donaudampfschifffahrtsgesellschaft) und Umlaute mehrfach zerlegt werden. Für nicht-lateinische Sprachen wie Chinesisch oder Arabisch kann das Verhältnis je nach Tokenizer-Generation noch ungünstiger ausfallen, was zur Kosten- und Kontextlängen-Asymmetrie zwischen Sprachen führt.

Tokens definieren auch das Kontextfenster: ein Modell mit 200k Token Kontext kann je nach Sprache rund 150 bis 800 A4-Seiten in einer Anfrage verarbeiten. Output-Tokens sind in der Regel doppelt bis fünffach teurer als Input-Tokens, was Prompt-Optimierung und Streaming wirtschaftlich relevant macht.

Häufige Fehler

• Wörter mit Tokens gleichsetzen: führt zu falschen Kostenschätzungen und Context-Window-Überläufen.
• Tokenizer-Mismatch: Wenn Tokenizer und Modell nicht zusammenpassen, sind die Ergebnisse Müll. Immer den modell-spezifischen Tokenizer nutzen.
• Special Tokens ignorieren: Bei Fine-Tuning müssen BOS, EOS und Padding korrekt gesetzt werden, sonst lernt das Modell unsinnige Sequenzen.
• Trailing Whitespaces unterschätzen: Bei manchen Tokenizern unterscheidet sich Hallo von Hallo (mit Leerzeichen) im Token-Output, was Prompt-Engineering verkomplizieren kann.
• Nicht-englische Sprachen vernachlässigen: Kosten und Kontext werden bei Deutsch, Französisch und besonders bei asiatischen Sprachen tendenziell unterschätzt.

Abgrenzung

• Wort: linguistische Einheit, nicht modell-spezifisch.
• Embedding: numerischer Vektor, der einem Token zugeordnet ist. Tokens sind diskret, Embeddings sind kontinuierlich.
• Subword: Sammelbegriff für tokenisierte Wortfragmente, in modernen LLMs synonym mit Token.
• Byte: einzelne UTF-8-Einheit, Basis für Byte-Level-Tokenizer, aber selbst kein Modell-Input.