Wie LLMs entstehen / Glossar

Tokenizer

Ein Tokenizer ist das Werkzeug, das Text in Tokens zerlegt, also in die Stücke, die ein Sprachmodell liest, und jedes Stück in eine Zahl umwandelt. Er macht aus den Ausgabezahlen des Modells auch wieder Text.

Ein Tokenizer hat ein festes Vokabular aus Stücken. Häufige Wörter bleiben ganz, seltene Wörter, Namen und lange Zahlen werden in mehrere kleinere Stücke geteilt. Jedes Stück hat eine ID-Nummer, und das Modell sieht immer nur diese Nummern.

Die meisten LLM-Tokenizer entstehen mit Byte Pair Encoding, einem Verfahren, das bei einzelnen Zeichen beginnt und immer wieder die häufigsten Paare zusammenfügt. Der Tokenizer von GPT-2 hatte 50.257 Tokens, der von Llama 3 hat etwa 128.000.

Der Tokenizer erklärt manches seltsame Verhalten. Modelle tun sich schwer, Buchstaben zu zählen, weil sie Stücke sehen statt Buchstaben. Und derselbe Satz kann in manchen Sprachen viel mehr Tokens brauchen als in anderen. Dann ist er langsamer und teurer zu verarbeiten.