Comment sont créés les LLM / Glossaire

Tokenizer (tokeniseur)

Un tokenizer est l'outil qui découpe le texte en tokens, les morceaux que lit un modèle de langage, et transforme chaque morceau en nombre. Il retransforme aussi les nombres produits par le modèle en texte.

Un tokenizer a un vocabulaire fixe de morceaux. Les mots fréquents restent entiers, tandis que les mots rares, les noms et les longs nombres sont coupés en plusieurs petits morceaux. Chaque morceau a un numéro, et le modèle ne voit jamais que ces numéros.

La plupart des tokenizers de LLM sont construits par byte pair encoding (BPE), une méthode qui part des caractères isolés et fusionne sans cesse les paires les plus fréquentes. Le tokenizer de GPT-2 comptait 50 257 tokens ; celui de Llama 3 environ 128 000.

Le tokenizer explique certains comportements étranges. Les modèles ont du mal à compter les lettres parce qu'ils voient des morceaux, pas des lettres, et une même phrase peut demander beaucoup plus de tokens dans certaines langues que dans d'autres, ce qui la rend plus lente et plus chère à traiter.