Come nascono gli LLM / Glossario

Tokenizer

Il tokenizer è lo strumento che taglia il testo in token, i pezzi che un modello linguistico legge, e trasforma ogni pezzo in un numero. Fa anche il contrario: trasforma i numeri prodotti dal modello di nuovo in testo.

Un tokenizer ha un vocabolario fisso di pezzi. Le parole frequenti restano intere, mentre parole rare, nomi e numeri lunghi vengono divisi in più pezzi piccoli. Ogni pezzo ha un numero ID, e il modello vede soltanto quei numeri.

La maggior parte dei tokenizer degli LLM è costruita con il byte pair encoding, un metodo che parte dai singoli caratteri e continua a unire le coppie che compaiono più spesso. Il tokenizer di GPT-2 aveva 50.257 token; quello di Llama 3 ne ha circa 128.000.

Il tokenizer spiega alcuni comportamenti strani. I modelli possono faticare a contare le lettere perché vedono pezzi, non lettere, e la stessa frase può richiedere molti più token in alcune lingue che in altre: elaborarla diventa più lento e più costoso.