Was sind Tokens bei KI, und warum liest ein Modell Wörter in Stücken?
Tokens sind die kleinen Textstücke, die ein Sprachmodell liest und schreibt. Ein Tokenizer zerlegt Text in häufige Stücke: Häufige Wörter bleiben ganz, seltene Wörter, neue Namen und lange Zahlen werden in mehrere Teile geteilt. Jedes Token wird gegen eine Nummer getauscht, seine ID, damit das Modell damit rechnen kann. Länge und Kosten werden in Tokens gezählt.
▶ Probier es aus
Warum das wichtig ist
Ein Modell sieht nie Buchstaben oder ganze Wörter, nur Token-IDs. Das erklärt, warum es beim Buchstabenzählen patzt, warum lange Zahlen es stolpern lassen und warum manche Sprachen mehr kosten.
In 6 Minuten kannst du
- Verzählt sich ein Modell bei Buchstaben oder verhaspelt sich bei einer langen Zahl, denk daran: Es sieht Stücke, keine Zeichen.
- In einer Sprache mit weniger Tokens pro Wort kann dieselbe Anfrage günstiger und schneller sein.
- Zeigt ein Tool Limits oder Preise „pro Token“, denk an ungefähr wortgroße Stücke, nicht an ganze Wörter.
Das übst du
Sei der Tokenizer
Tipp auf die Lücken zwischen den Buchstaben, um jedes Wort in Tokens zu zerschneiden. Drück dann „Tokenisieren“ und vergleiche. Schnitte und IDs sind beispielhaft, wie bei einem typischen Tokenizer.
- und → [und] #3318
Sehr häufige Wörter bekommen ein eigenes Token. „und“ kommt so oft vor, dass Zerschneiden Platz verschwenden würde. - unglaublich → [un] #403 [glaub] #33246 [lich] #481
Lange Wörter werden aus bekannten Stücken gebaut: „un“, „glaub“ und „lich“ stecken in Tausenden anderen Wörtern. - Vireo → [Vir] #53413 [eo] #78
Ein neuer Name steht nicht im Vokabular, also baut der Tokenizer ihn aus Stücken, die er kennt. So lässt sich jedes Wort schreiben. - 1234567 → [123] #4513 [456] #10961 [7] #22
Viele Tokenizer zerhacken lange Zahlen in Stücke von bis zu drei Ziffern. Das Modell sieht nie die ganze Zahl auf einmal, ein Grund, warum lange Rechnungen es aus dem Tritt bringen. - Schmetterling → [Sch] #32065 [met] #4164 [ter] #466 [ling] #2785
Tokenizer lernen vor allem aus englischem Text. Darum wird ein deutsches Wort oft in mehr Stücke zerlegt als sein englisches Gegenstück „butterfly“.
- Gleiche Bedeutung, zwei Sprachen. Welche kostet Vireo mehr Tokens?
- A: I love cats. → [I] [·love] [·cats] [.] (4 Tokens)
- B: Ich liebe Katzen. → [Ich] [·lie] [be] [·K] [atzen] [.] (6 Tokens)
- Welche Nachricht kostet mehr Tokens?
- A: Bis um 7. → [Bis] [·um] [·7] [.] (4 Tokens)
- B: Bis um 19:45:30. → [Bis] [·um] [·19] [:] [45] [:] [30] [.] (8 Tokens)
- und → [und] #3318
Warum Stücke statt Wörter?
Tipp auf jede Karte, um zu sehen, was dahintersteckt.
- 🔢 Warum Text in Zahlen verwandeln?
- Ein Modell kann nur rechnen. Jedes Token wird gegen seine ID getauscht, so wird ein Satz zu einer Zahlenliste, mit der es rechnen kann.
- 📕 Warum nicht ein Token pro Wort?
- Es gibt zu viele Wörter: Namen, Tippfehler, neuer Slang. Eine Wortliste ist nie vollständig, aber aus Stücken lässt sich jedes Wort bauen, auch ein brandneues.
- 🔤 Warum nicht einzelne Buchstaben?
- Dann würde jeder Satz sehr lang, und das Modell müsste viel härter arbeiten, um die Bedeutung zu erkennen. Wortstücke sind der Mittelweg.
- 🧮 Woher kommt die Token-Liste?
- Vor dem Training durchsucht ein Programm viel Text und fügt immer wieder die häufigsten Stückpaare zusammen, bis eine feste Liste steht, oft Zehntausende Tokens lang.
Was Tokens erklären
Wähl jede Aussage, die stimmt.
- Ein Modell liest Token-IDs, keine Buchstaben
- Häufige Wörter sind oft ein einziges Token
- Seltene und neue Wörter werden in Stücke geteilt
- Derselbe Text kann in einer anderen Sprache mehr Tokens kosten
- Jedes Wort ist genau ein Token
- Tokens sind einfach Silben
- Buchstaben in einem Wort zu zählen ist für ein Modell leicht
Merk dir
Ein Modell liest Text als nummerierte Stücke, die Tokens heißen. Häufige Wörter bleiben ganz, seltene werden aus Teilen gebaut.
Text wird zu einer Liste von Token-IDs. Häufige Wörter bleiben ganz, seltene werden aus Stücken gebaut.
Die wichtigsten Fakten
- Seltene Wörter mit Byte Pair Encoding in häufige Teilwörter zu zerlegen, wurde 2016 für neuronale Übersetzung eingeführt und ist heute die Grundlage der meisten LLM-Tokenizer. · Quelle: Sennrich, Haddow & Birch, Neural Machine Translation of Rare Words with Subword Units, ACL 2016
- Der Tokenizer von GPT-2 hatte ein Vokabular von 50.257 Tokens. · Quelle: Radford et al., OpenAI, Language Models are Unsupervised Multitask Learners, 2019
- Llama 3 nutzt einen Tokenizer mit einem Vokabular von 128.000 Tokens, der Text effizienter kodiert als sein Vorgänger. · Quelle: Meta, Introducing Meta Llama 3, 2024
- Derselbe Text kann übersetzt in verschiedene Sprachen sehr unterschiedlich viele Tokens brauchen, darum kosten manche Sprachen mehr in der Verarbeitung. · Quelle: Petrov et al., Language Model Tokenizers Introduce Unfairness Between Languages, NeurIPS 2023
Aktualisiert:
Häufige Fragen
Wie viele Wörter sind ein Token?
Das hängt vom Text und vom Tokenizer ab. Im Englischen ist ein Token oft ein kurzes Wort oder ein Teil eines längeren. Deutsch mit seinen langen zusammengesetzten Wörtern braucht meist mehr Tokens pro Wort, ebenso Code und Zahlen.
Warum kann KI keine Buchstaben in einem Wort zählen?
Das Modell sieht nie einzelne Buchstaben, nur Token-IDs für Stücke wie „Erd“ und „beere“. Um Buchstaben zu zählen, muss es sich erinnern, wie jedes Stück geschrieben wird, und das geht leicht schief.
Was ist ein Tokenizer?
Ein Tokenizer ist das Programm, das Text in Tokens zerlegt und jedes gegen seine ID tauscht, bevor das Modell es sieht. Er wird einmal vor dem Training gebaut, aus den häufigsten Stücken einer großen Textprobe.
Warum werden KI-Modelle pro Token abgerechnet?
Die Arbeit eines Modells wächst mit der Zahl der Tokens, die es liest und schreibt. Tokens zu zählen misst diese Arbeit fairer als Wörter oder Zeichen.
Verwandte Begriffe