Como os LLMs são feitos / Glossário

Gradiente descendente

Gradiente descendente é o método que treina a maioria dos modelos de IA: ele calcula, para cada peso, a direção que diminui a perda e depois dá um passo pequeno com todos os pesos nessa direção, de novo e de novo.

Imagine que você está numa encosta com neblina e quer chegar ao vale. Você sente para que lado o chão desce e dá um passo pequeno ladeira abaixo. O gradiente descendente faz o mesmo com a perda, em bilhões de pesos ao mesmo tempo.

A inclinação de cada peso é calculada pela retropropagação (backpropagation), um método popularizado num artigo de 1986 na revista Nature. O tamanho de cada passo se chama taxa de aprendizado: grande demais e o treino fica instável, pequena demais e ele se arrasta.

Grandes modelos de linguagem costumam ser treinados com o Adam ou uma variante próxima, uma forma refinada de gradiente descendente que adapta o tamanho do passo para cada peso. Os treinos normalmente aquecem a taxa de aprendizado no começo e a diminuem com o tempo.