KI-Kompetenz / Glossar

Token

Ein Token ist die kleine Texteinheit, die ein Sprachmodell liest und schreibt: ein ganzes Wort, ein Wortteil, ein Satzzeichen oder ein Leerzeichen. Das Modell sagt immer ein Token nach dem anderen vorher.

Bevor ein Chatbot mit deiner Nachricht arbeiten kann, zerlegt er den Text in Tokens. Häufige kurze Wörter sind oft ein Token, lange oder seltene Wörter werden in mehrere Stücke geteilt. Gerade lange deutsche Zusammensetzungen wie „Datenschutzbeauftragte“ bestehen aus mehreren Tokens.

Beim Antworten wählt das Modell das nächste Token, hängt es an den Text und sagt dann das folgende vorher. Darum erscheinen Antworten Wort für Wort.

Tokens erklären auch einige Grenzen: Dienste rechnen die Nutzung in Tokens ab, ein Modell kann nur eine bestimmte Zahl Tokens auf einmal aufnehmen, und Aufgaben wie Buchstabenzählen gehen schief, weil das Modell Stücke sieht, keine einzelnen Buchstaben.