Como os LLMs são feitos / Glossário

Função de perda

Uma função de perda é a fórmula que mede o quanto a previsão de um modelo errou. O treino tenta deixar esse número, a perda (loss), o menor possível.

Quando um modelo de linguagem prevê o próximo token, ele dá uma probabilidade a cada token possível. A perda olha a probabilidade que ele deu ao token que realmente veio: probabilidade alta significa perda baixa, e probabilidade baixa significa perda alta.

Esse tipo de perda se chama entropia cruzada (cross-entropy), e é ela que quase todo modelo de linguagem é treinado para diminuir. O gradiente descendente usa a perda para descobrir para que lado ajustar cada peso.

A perda também é como os laboratórios acompanham o progresso. As leis de escala descrevem como a perda cai de forma previsível quando os modelos ganham mais parâmetros, dados e computação. Mas perda baixa não é o mesmo que um assistente útil ou verdadeiro; isso exige mais treino e testes.