Alfabetizzazione all’IA / Glossario

Token

Un token è la piccola unità di testo che un modello linguistico legge e scrive: una parola intera, un pezzo di parola, un segno di punteggiatura o uno spazio. Il modello prevede un token alla volta.

Prima di lavorare con il tuo messaggio, un chatbot divide il testo in token. Le parole brevi e comuni spesso sono un solo token, mentre quelle lunghe o insolite vengono spezzate in più pezzi.

Quando risponde, il modello sceglie il token successivo, lo aggiunge al testo e poi prevede quello dopo. Questa previsione passo passo è il motivo per cui le risposte compaiono parola per parola.

I token spiegano anche alcuni limiti: i servizi contano l’uso in token, un modello può leggere solo un certo numero di token alla volta, e compiti come contare le lettere possono andare storti perché il modello vede pezzi, non singole lettere.