Comprendre l'IA / Glossaire

Token

Un token est la petite unité de texte qu'un modèle de langage lit et écrit : un mot entier, un morceau de mot, un signe de ponctuation ou un espace. Le modèle prédit un token à la fois.

Avant de travailler sur ton message, un chatbot découpe le texte en tokens. Les mots courts et fréquents font souvent un seul token, les mots longs ou rares sont coupés en plusieurs morceaux.

Pour répondre, le modèle choisit le token suivant, l'ajoute au texte, puis prédit celui d'après. Cette prédiction pas à pas explique pourquoi les réponses s'affichent mot par mot.

Les tokens expliquent aussi certaines limites : les services comptent l'usage en tokens, un modèle ne peut lire qu'un certain nombre de tokens à la fois, et compter des lettres peut rater, car le modèle voit des morceaux, pas des lettres une à une.