O que são as leis de escala em IA?
Leis de escala são padrões que mostram que a perda de um modelo de linguagem cai de forma previsível quando se adicionam parâmetros, dados de treino e computação. Elas também dizem aos laboratórios como dividir um orçamento fixo de computação: um estudo conhecido de 2022 viu que o melhor resultado vem de uns 20 tokens de treino por parâmetro, aumentando modelo e dados juntos.
▶ Pratique
Por que isso importa
Treinar um modelo grande custa uma fortuna em chips e energia, então os laboratórios planejam antes com leis de escala. A surpresa: para um orçamento fixo, o maior modelo não é o melhor.
Em 6 minutos você vai conseguir
- A qualidade de um modelo depende de três ingredientes que crescem: dados, parâmetros e computação.
- Para um orçamento fixo, um modelo gigante com poucos dados se sai pior que um equilibrado.
- Leis de escala deixam os laboratórios prever grandes treinos a partir de experimentos pequenos e baratos.
O que você vai praticar
Três coisas que crescem
Classifique cada linha do plano de treino do Vireo pelo ingrediente que ela aumenta.
- 15 trilhões de tokens de texto → Dados
- Camadas mais largas, e mais camadas → Parâmetros
- Milhares de chips rodando por meses → Computação
- 70 bilhões de pesos → Parâmetros
- Incluir livros, código e mais páginas da web → Dados
- Uma conta de luz recorde → Computação
Gaste o orçamento de computação
Arraste o controle para dividir o orçamento entre tamanho do modelo e dados de treino. Ache a menor perda e confirme.
Mesmo orçamento, dois jeitos de gastar: um modelo maior ou mais texto para treiná-lo. Arraste para testar divisões e veja a perda prevista. Quanto menor, melhor.
- Orçamento 1×: A melhor divisão aqui: 1 bi parâmetros com 20 bi tokens.
- Orçamento 10×: A melhor divisão aqui: 3,2 bi parâmetros com 63 bi tokens.
- Orçamento 100×: A melhor divisão aqui: 10 bi parâmetros com 200 bi tokens.
≈ 20 tokens de treino por parâmetro Ilustrativo: uma fórmula no estilo Chinchilla, não medições reais
Planeje o próximo treino do Vireo
Mesmo orçamento, dois planos. Qual modelo provavelmente sai melhor?
- Um modelo com um quarto do tamanho, treinado com 4× mais texto (Resposta)
- O maior modelo que o orçamento permite, com o texto que sobrar
A Vireo Labs treina um modelo pequeno com bem mais de 20 tokens por parâmetro. Por que isso pode ser esperto?
- Modelos pequenos custam menos para rodar para milhões de usuários, então o treino extra compensa (Resposta)
- É um erro, mais de 20 tokens por parâmetro não ajuda
O que as leis de escala deixam um laboratório fazer antes de gastar meses de computação?
- Prever mais ou menos quão bom um modelo maior será a partir de testes menores (Resposta)
- Garantir exatamente quais habilidades o modelo vai ter
Lembre-se
Para um orçamento fixo de computação, aumente o modelo e os dados juntos. O ponto ideal clássico é de uns 20 tokens de treino por parâmetro.
Para um orçamento fixo, aumente modelo e dados juntos: uns 20 tokens de treino por parâmetro.
Fatos principais
- A perda de um modelo de linguagem cai de forma suave e previsível, seguindo leis de potência, conforme crescem o tamanho do modelo, os dados e a computação. · Fonte: Kaplan et al., Scaling Laws for Neural Language Models, OpenAI, 2020
- Para um orçamento fixo de computação, os melhores resultados vieram de aumentar o tamanho do modelo e os tokens de treino na mesma medida, uns 20 tokens por parâmetro. · Fonte: Hoffmann et al., Training Compute-Optimal Large Language Models, DeepMind, 2022
- O Chinchilla, de 70 bilhões de parâmetros e treinado com 1,4 trilhão de tokens, superou o Gopher, de 280 bilhões, que usou o mesmo orçamento de computação. · Fonte: Hoffmann et al., DeepMind, 2022
- O GPT-3, com 175 bilhões de parâmetros, foi treinado com cerca de 300 bilhões de tokens: menos de 2 tokens por parâmetro. · Fonte: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- O Llama 3 foi pré-treinado com mais de 15 trilhões de tokens, bem mais de 20 por parâmetro até no maior modelo. · Fonte: Meta, The Llama 3 Herd of Models, 2024
Atualizado:
Perguntas frequentes
O que é a lei de escala do Chinchilla?
Uma descoberta de 2022: para uma quantidade fixa de computação de treino, o tamanho do modelo e os dados de treino devem crescer juntos. A regra prática que saiu dela é de uns 20 tokens de treino para cada parâmetro.
Modelos de IA maiores são sempre melhores?
Não com o mesmo orçamento. Um modelo maior só ajuda se também recebe dados de treino suficientes. Um modelo menor treinado com mais texto pode vencer um muito maior e subtreinado.
O que significa computação no treino de IA?
O número total de cálculos usados para treinar um modelo. Ela é paga em chips especializados, no tempo em que eles rodam e na energia que gastam.
Por que os laboratórios treinam modelos pequenos com tantos dados?
Modelos pequenos são mais baratos e rápidos de rodar para cada usuário. Treiná-los com bem mais dados que o ponto ideal de computação extrai uma qualidade extra que compensa em milhões de usos.
Termos relacionados