Como os LLMs são feitos / Glossário

Pré-treinamento

Pré-treinamento é a primeira e maior etapa da construção de um modelo de linguagem: ele lê uma quantidade enorme de texto e aprende prevendo o próximo token, de novo e de novo, sem nenhum rótulo humano.

No pré-treinamento, o modelo vê texto real com o próximo token escondido, dá um palpite, confere a resposta real e ajusta um pouco seus pesos. O próprio texto traz as respostas, então ninguém precisa rotular nada.

Repetido ao longo de trilhões de tokens, esse jogo simples obriga o modelo a aprender gramática, fatos, estilos de escrita, padrões de raciocínio e código. O Llama 3, por exemplo, foi pré-treinado com mais de 15 trilhões de tokens.

O pré-treinamento consome a maior parte do poder de computação gasto num modelo e dá a maior parte do conhecimento dele. O resultado é um modelo base que continua textos bem, mas ainda não segue instruções; o ajuste fino e o treino com feedback vêm depois.