Pular para o conteúdo
PT

Aula 1 de 6 · 6 min · +100 XP

O que é um modelo transformer em IA?

O transformer é a arquitetura de rede neural por trás dos modelos de linguagem modernos. Ele transforma cada token numa lista de números e os passa para cima por uma pilha de camadas iguais. Em cada camada, a atenção deixa os tokens trocarem informação e uma parte feed-forward refina cada um. No topo, ele dá uma nota a cada próximo token possível.

▶ Pratique

Por que isso importa

Quase todo modelo de linguagem moderno é um transformer. Conhecer os dois movimentos dele, trocar entre palavras e pensar em cada palavra, explica como um modelo constrói o significado camada por camada.

Em 6 minutos você vai conseguir

  • O texto vira tokens, e cada token vira uma lista de números antes de entrar na pilha.
  • Toda camada tem duas partes: atenção, onde as palavras trocam informação, e feed-forward, onde cada palavra é refinada.
  • Empilhar dezenas de camadas transforma palpites grosseiros em previsões afiadas.

O que você vai praticar

  1. Mande uma frase pela pilha

    Coloque em ordem a viagem de “O céu está muito”, do texto bruto até o palpite do Vireo.

    1. O texto é cortado em tokens
    2. Cada token vira uma lista de números, o embedding
    3. Atenção: cada token junta pistas dos tokens anteriores
    4. Feed-forward: os números de cada token são refinados sozinhos
    5. Essas duas partes se repetem em cada camada, dezenas de vezes
    6. No topo, os números do último token viram uma nota para cada próximo token possível

  2. Espie dentro da torre

    Engenheiros conseguem ler o palpite do Vireo no meio da pilha. Cada rodada é a mesma frase numa altura diferente. As porcentagens são ilustrativas.

    1. Camada 2 de 48:
      As chaves do armário antigo       ___

      • está: 34% (a mais provável)
      • estão: 20%
      • porta: 10%
      • estava: 8%
      • outras palavras: 28%
      Embaixo na pilha, o palpite se apoia na palavra mais próxima, “armário”, que está no singular. As camadas ainda não ligaram o verbo a “chaves”.

    2. Camada 24 de 48:
      As chaves do armário antigo       ___

      • estão: 45% (a mais provável)
      • está: 24%
      • estavam: 10%
      • estava: 5%
      • outras palavras: 16%
      No meio do caminho, a atenção já ligou o verbo a “chaves”, então os verbos no plural passam à frente de “está”.

    3. Camada 48 de 48:
      As chaves do armário antigo       ___

      • estão: 78% (a mais provável)
      • estavam: 10%
      • está: 3%
      • estava: 1%
      • outras palavras: 8%
      No topo, o palpite está afiado. Cada camada acrescentou um pouco de entendimento, e é por isso que os transformers empilham tantas.

  3. Qual parte faz isso?

    Toda camada tem duas partes. Classifique cada tarefa.

    • “ele” busca informação em “gato”, três palavras antes → Atenção: as palavras trocam
    • Trabalha num token por vez, sem olhar para os outros → Feed-forward: cada palavra sozinha
    • Liga um verbo ao sujeito várias palavras antes → Atenção: as palavras trocam
    • Guarda boa parte do que o modelo armazenou, como fatos que absorveu → Feed-forward: cada palavra sozinha
    • Decide o quanto cada palavra anterior importa agora → Atenção: as palavras trocam

  4. Por que os transformers venceram?

    1. Modelos de linguagem antigos liam o texto uma palavra depois da outra. O que o transformer mudou?

      • Ele trata todos os tokens de um texto lado a lado, e o treino usa bem os chips (Resposta)
      • Ele lê ainda mais devagar e com cuidado, uma letra por vez

    2. O Vireo tem 48 camadas. Qual a diferença entre elas?

      • Mesma arquitetura, mas cada camada tem seus próprios pesos aprendidos (Resposta)
      • Cada camada é um tipo de máquina completamente diferente

Lembre-se

Um transformer é uma arquitetura de camada empilhada muitas vezes: a atenção deixa as palavras trocarem, o feed-forward refina cada palavra e o topo dá nota ao próximo token.

Os tokens sobem por dezenas de camadas iguais. Cada camada troca informação entre palavras e depois refina cada palavra.

Fatos principais

  • O transformer foi apresentado em 2017, primeiro para traduzir entre línguas. · Fonte: Vaswani et al., Attention Is All You Need, Google, 2017
  • O transformer original empilhava 6 camadas de cada lado, um lado para ler a entrada e outro para escrever a saída. · Fonte: Vaswani et al., 2017
  • O maior modelo do GPT-3 empilha 96 camadas de transformer. · Fonte: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
  • Pesquisadores descobriram que as partes feed-forward das camadas do transformer se comportam como memórias de chave e valor, guardando padrões do texto de treino. · Fonte: Geva et al., Transformer Feed-Forward Layers Are Key-Value Memories, 2021

Atualizado:

Perguntas frequentes

O que significa o T de GPT?

Transformer. GPT é a sigla em inglês de Generative Pre-trained Transformer: um modelo que gera texto, é pré-treinado com muito texto e usa a arquitetura transformer.

O que é uma camada numa rede neural?

Uma etapa do processamento. Num transformer, cada camada pega os números de todos os tokens, deixa que troquem informação pela atenção, refina com uma parte feed-forward e passa tudo para a camada seguinte.

Por que os transformers são melhores que os modelos antigos?

Eles processam todos os tokens de um texto em paralelo durante o treino e conseguem ligar palavras distantes. Isso tornou viável treinar modelos muito maiores com muito mais texto.

Todos os grandes modelos de linguagem são transformers?

Quase todos os populares hoje são, ou são variantes próximas. Pesquisadores continuam testando outras arquiteturas, mas o transformer é o padrão desde mais ou menos 2018.

Termos relacionados