Como um modelo de IA aprende com os próprios erros?
Um modelo aprende medindo os erros e ajustando suas configurações. Depois de cada palpite, um número chamado perda (loss) diz o quanto ele errou. A retropropagação calcula para que lado cada um dos bilhões de pesos deve girar para diminuir a perda, e o gradiente descendente ajusta todos um passinho nessa direção, de novo e de novo.
▶ Pratique
Por que isso importa
“Treinar” parece misterioso, mas é um ciclo só: medir o erro, achar o lado da descida e girar cada botão um pouquinho. O tamanho de cada ajuste decide se o treino funciona.
Em 6 minutos você vai conseguir
- A perda é um número que diz o quanto um palpite errou. O treino tenta empurrá-la para baixo.
- A retropropagação acha a direção da descida para cada botão, e o gradiente descendente ajusta todos.
- Taxa de aprendizado pequena demais se arrasta, grande demais passa do ponto ou explode, então engenheiros a ajustam com cuidado.
O que você vai praticar
Quatro palavras de engenheiro
Toque em cada cartão. Essas quatro ideias são o ciclo de treino inteiro.
- 📉 Perda (loss)
- Um número que diz o quanto o modelo errou. Se a próxima palavra real era “azul” e o modelo deu pouca chance a ela, a perda é alta.
- 🎛️ Pesos
- Os botões do modelo, bilhões deles. Juntos, decidem cada previsão. O treino só muda esses números.
- 🧭 Gradiente
- Para cada botão: para que lado girar para diminuir a perda e o quanto ele pesa. A retropropagação calcula isso para todos de uma vez.
- 👣 Taxa de aprendizado
- O tamanho de cada ajuste. Pequena demais e o treino se arrasta, grande demais e ele passa do ponto ou explode.
Desça o vale da perda
A bola é um dos botões do Vireo. Escolha o tamanho do passo, aperte Ajustar e leve a perda para baixo da linha verde.
Tamanho do passo (taxa de aprendizado): mínimo · pequeno · médio · grande · enorme
A altura da bola é a perda. Cada Ajustar confere para que lado é a descida e gira o botão para lá, no tamanho de passo que você escolher. Leve a perda para baixo da linha verde.
- Neste vale, passos médios são os mais rápidos. Os mínimos se arrastam, os grandes quicam, os enormes voam para fora.
- Um vale bem mais íngreme. O mesmo tamanho de passo ainda funciona? Num vale íngreme, passos pequenos vencem. Um passo que antes ia bem agora passa do ponto, e é por isso que engenheiros ajustam a taxa de aprendizado.
- Agora uma ladeira longa e suave. O que combina com ela? Numa ladeira suave, passos grandes são seguros e poupam tempo. Treinos de verdade costumam diminuir os passos ao longo do caminho.
Leia o painel de treino
A linha de perda do Vireo sobe e desce sem controle e depois dispara para fora do gráfico. Qual a correção mais provável?
- Diminuir a taxa de aprendizado (Resposta)
- Aumentar a taxa de aprendizado
- Apagar metade dos botões
Qual parte calcula para que lado cada botão deve girar?
- A retropropagação, que calcula o gradiente (Resposta)
- Um engenheiro que confere cada botão à mão
Perda menor quer dizer que o Vireo agora sempre acerta?
- Não, quer dizer que os palpites combinam melhor com o texto de treino (Resposta)
- Sim, perda baixa quer dizer que ele parou de errar
Lembre-se
Treinar é um ciclo só: medir a perda, achar a descida e ajustar cada botão um passinho. O tamanho do passo decide se funciona.
A perda mede o erro, o gradiente aponta a descida e a taxa de aprendizado define o tamanho de cada ajuste.
Fatos principais
- A retropropagação, o método que calcula como ajustar cada peso de uma rede, foi popularizada num artigo de 1986 na revista Nature. · Fonte: Rumelhart, Hinton & Williams, Learning representations by back-propagating errors, 1986
- O GPT-3 tem 175 bilhões de parâmetros, e cada um deles é um botão que o treino ajusta. · Fonte: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- A maioria dos grandes modelos de linguagem é treinada com o Adam ou uma variante próxima, uma forma refinada de gradiente descendente que adapta o tamanho do passo para cada botão. · Fonte: Kingma & Ba, Adam: A Method for Stochastic Optimization, 2015
- Grandes treinos costumam aquecer a taxa de aprendizado no começo e diminuí-la aos poucos conforme o treino avança.
Atualizado:
Perguntas frequentes
O que é gradiente descendente, em palavras simples?
Um jeito de achar boas configurações dando passinhos ladeira abaixo. Você vê qual direção diminui o erro, dá um passo pequeno para lá e repete até o erro ficar baixo.
O que é uma função de perda?
Uma fórmula que transforma o erro de um modelo num número. Num modelo de linguagem, ela mede o quanto o modelo se surpreendeu com o próximo token real: quanto menos provável ele achava esse token, maior a perda.
O que é taxa de aprendizado?
O tamanho de cada passo de atualização no treino. Alta demais e o treino fica instável, baixa demais e ele demora muito, por isso é uma das configurações ajustadas com mais cuidado.
O que é retropropagação (backpropagation)?
O método que calcula, para cada peso de uma rede, como uma pequena mudança afetaria a perda. Ele trabalha de trás para a frente, da saída por cada camada, e daí vem o nome.
Termos relacionados