Como os LLMs são feitos / Glossário

Parâmetros (pesos do modelo)

Parâmetros, também chamados de pesos, são os números ajustáveis dentro de um modelo de IA. O treinamento ajusta esses números para que as previsões melhorem, e juntos eles guardam tudo o que o modelo aprendeu.

Um modelo de linguagem é um cálculo gigante. O texto entra como números, é multiplicado e somado com os parâmetros do modelo, e sai uma previsão. Antes do treino, os parâmetros são aleatórios; o treino ajusta cada um até as previsões ficarem boas.

O tamanho de um modelo costuma ser contado em parâmetros. O GPT-3 tinha 175 bilhões, e muitos modelos que rodam num notebook têm poucos bilhões. Mais parâmetros guardam mais padrões, mas também exigem mais memória, mais poder de computação e mais dados de treino.

Parâmetros ocupam espaço de verdade: com 16 bits cada, um modelo de 7 bilhões de pesos precisa de uns 14 GB só para carregar. Por isso truques como a quantização, que guarda cada peso com menos bits, são importantes para rodar modelos em celulares e notebooks.