Como os LLMs são feitos / Glossário

Leis de escala

Leis de escala são padrões que mostram que a perda de um modelo de linguagem cai de forma suave e previsível quando se adicionam parâmetros, dados de treino e computação. Os laboratórios as usam para planejar o tamanho do modelo.

Uma pesquisa de 2020 descobriu que a perda segue leis de potência simples: dobre o tamanho do modelo, os dados ou a computação, e a perda cai uma quantidade previsível. Isso permitiu prever quão bom um modelo seria antes de gastar o dinheiro para treiná-lo.

Um estudo de 2022 refinou a receita: para um orçamento fixo de computação, aumente o modelo e os dados juntos, com uns 20 tokens de treino por parâmetro. O modelo Chinchilla, de 70 bilhões de parâmetros e treinado com 1,4 trilhão de tokens, superou o Gopher, de 280 bilhões, que usou o mesmo orçamento.

Leis de escala preveem a perda, não habilidades específicas, então algumas capacidades ainda surpreendem. Muitos modelos recentes também treinam com bem mais de 20 tokens por parâmetro, porque um modelo menor treinado por mais tempo sai mais barato para rodar depois.