Pular para o conteúdo
PT

Aula 3 de 6 · 6 min · +100 XP

Como a previsão do próximo token treina um LLM?

Um grande modelo de linguagem é pré-treinado jogando um único jogo, de novo e de novo: ele lê texto real, esconde o próximo token, aposta no que vem depois, confere a resposta real e ajusta seus pesos. Repetido trilhões de vezes, esse jogo simples o obriga a aprender gramática, fatos, padrões de raciocínio e até código.

▶ Pratique

Por que isso importa

O pré-treinamento não tem professor escrevendo respostas. O próprio texto é o gabarito, e é por isso que um modelo consegue aprender com a web inteira e aprende muito mais que gramática.

Em 6 minutos você vai conseguir

  • Um LLM aprende adivinhando o próximo token em texto real e se ajustando depois de cada palpite.
  • O texto é o seu próprio gabarito, então nenhuma pessoa precisa rotular nada.
  • Adivinhar bem recompensa gramática, fatos, raciocínio e código, e por isso os modelos aprendem tudo isso.

O que você vai praticar

  1. Sente no lugar do Vireo

    Cada linha vem do texto de treino. Aposte no próximo token e veja como um modelo treinado distribui as apostas. As porcentagens são ilustrativas.

    1. Ela abriu a porta e ___

      • entrou: 38% (a mais provável)
      • saiu: 20%
      • sorriu: 12%
      • devagar: 6%
      • porta: 0,1%
      • outras palavras: 24%
      Para acertar aqui, o modelo precisa aprender gramática: depois de “e” costuma vir um verbo, quase nunca outro substantivo.

    2. A água congela a 0 graus ___

      • Celsius: 72% (a mais provável)
      • .: 10%
      • e: 5%
      • Fahrenheit: 3%
      • outras palavras: 10%
      Acertar isso significa absorver um fato. Ninguém ensinou física ao Vireo: o fato simplesmente aparece no texto de novo e de novo.

    3. Ana tem 3 maçãs e compra mais 4. Agora ela tem ___

      • 7: 64% (a mais provável)
      • sete: 12%
      • 4: 3%
      • muitas: 1%
      • outras palavras: 20%
      Uma conta simples ganha esta rodada. Prever bem o texto recompensa em silêncio tudo o que ajuda, inclusive raciocinar passo a passo.

    4. for i in range( ___

      • 10: 30% (a mais provável)
      • len: 26%
      • n: 20%
      • maçãs: 0,1%
      • outras palavras: 24%
      Código também é texto. Praticar com milhões de programas ensina, de quebra, os padrões das linguagens de programação.

    5. Inglês: thank you. Português: ___

      • obrigado: 82% (a mais provável)
      • thank: 3%
      • olá: 2%
      • outras palavras: 13%
      Pares assim aparecem por toda a web, então o modelo aprende a traduzir como efeito colateral de adivinhar o próximo token.

    6. O gato da minha vizinha se chama ___

      • Mel: 5% (a mais provável)
      • Luna: 5% (a mais provável)
      • Sr: 4%
      • Frajola: 2%
      • outras palavras: 84%
      Nenhum texto pode dizer isso. O modelo aprende a espalhar bem as apostas, mas mesmo assim vai escolher um nome: uma das raízes das respostas inventadas com confiança.

  2. Um passo do pré-treinamento

    Coloque em ordem uma rodada do jogo de treino.

    1. Pegar um trecho de texto real dos dados de treino
    2. Esconder o token que vem depois
    3. O Vireo aposta em cada próximo token possível
    4. Revelar o token real e medir o quanto o Vireo se surpreendeu
    5. Ajustar os pesos para o token real ganhar mais chance
    6. Andar um token e jogar de novo

  3. O que esta rodada ensina?

    Cada lacuna recompensa uma habilidade diferente. Classifique.

    • Os gatos ___ dormindo. (estão) → Gramática
    • O maior planeta é ___ (Júpiter) → Fatos
    • 12 + 30 = ___ (42) → Raciocínio
    • Ontem eu ___ à escola. (fui) → Gramática
    • A água ferve a ___ °C ao nível do mar. (100) → Fatos
    • Léo é mais alto que Kauã, Kauã é mais alto que Enzo, então Enzo é o ___ (mais baixo) → Raciocínio

Lembre-se

O pré-treinamento é um jogo só: adivinhar o próximo token, conferir, ajustar. Jogado trilhões de vezes, ensina muito mais que palavras.

Um único jogo, adivinhar o próximo token, ensina gramática, fatos, matemática e código ao mesmo tempo.

Fatos principais

  • Em 1951, Claude Shannon mediu o quanto o inglês é previsível pedindo a pessoas que adivinhassem a próxima letra de um texto. · Fonte: C. E. Shannon, Prediction and Entropy of Printed English, Bell System Technical Journal, 1951
  • O Llama 3 foi pré-treinado com mais de 15 trilhões de tokens de texto. · Fonte: Meta, The Llama 3 Herd of Models, 2024
  • Boa parte do texto de treino do GPT-3 veio de uma versão filtrada da Common Crawl, um arquivo aberto da web. · Fonte: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
  • Um modelo treinado só para prever a próxima palavra já conseguia tentar tarefas como traduzir e resumir sem ter sido treinado especificamente para elas. · Fonte: Radford et al., Language Models are Unsupervised Multitask Learners, OpenAI, 2019

Atualizado:

Perguntas frequentes

O que é previsão do próximo token?

É a tarefa de treino por trás dos grandes modelos de linguagem: dado um texto, prever o token que vem depois. O modelo dá uma nota a cada token possível e aprende com o tamanho do erro.

O que é aprendizado autossupervisionado?

É um aprendizado em que os próprios dados trazem as respostas. Um modelo de linguagem esconde o próximo token de um texto real e tenta adivinhar, então ninguém precisa rotular exemplos à mão.

Como prever palavras pode ensinar fatos a um modelo?

Muitos próximos tokens só podem ser adivinhados sabendo algo sobre o mundo. Para errar menos neles, o modelo precisa guardar nos pesos padrões que funcionam como fatos.

Com quantos tokens os LLMs são treinados?

Grandes modelos de linguagem modernos são pré-treinados com trilhões de tokens. A Meta informou mais de 15 trilhões de tokens para o Llama 3, por exemplo.

Termos relacionados