Letramento em IA / Glossário

Token

Um token é a pequena unidade de texto que um modelo de linguagem lê e escreve: uma palavra inteira, parte de uma palavra, um sinal de pontuação ou um espaço. O modelo prevê um token de cada vez.

Antes de trabalhar com sua mensagem, o chatbot divide o texto em tokens. Palavras curtas e comuns muitas vezes são um token só, enquanto palavras longas ou incomuns são divididas em vários pedaços.

Na hora de responder, o modelo escolhe o próximo token, acrescenta ao texto e prevê o seguinte. Essa previsão passo a passo é o motivo de as respostas aparecerem palavra por palavra.

Os tokens também explicam alguns limites: os serviços contam o uso em tokens, um modelo só consegue receber certo número de tokens de uma vez, e tarefas como contar letras podem dar errado porque o modelo vê pedaços, não letras soltas.