Como os LLMs são feitos / Glossário

Tokenizador

Um tokenizador é a ferramenta que corta o texto em tokens, os pedaços que um modelo de linguagem lê, e transforma cada pedaço num número. Ele também transforma os números que o modelo gera de volta em texto.

Um tokenizador tem um vocabulário fixo de pedaços. Palavras frequentes ficam inteiras, enquanto palavras raras, nomes e números longos são divididos em vários pedaços menores. Cada pedaço tem um número de ID, e o modelo só vê esses números.

A maioria dos tokenizadores de LLMs é construída com byte pair encoding (BPE), um método que começa com caracteres soltos e vai juntando os pares que aparecem com mais frequência. O tokenizador do GPT-2 tinha 50.257 tokens; o do Llama 3 tem cerca de 128 mil.

O tokenizador explica alguns comportamentos estranhos. Modelos podem ter dificuldade para contar letras porque veem pedaços, não letras, e a mesma frase pode precisar de muito mais tokens em algumas línguas do que em outras, o que deixa o processamento mais lento e mais caro.