Como os LLMs são feitos / Glossário

Transformer

O transformer é a arquitetura de rede neural por trás de quase todos os modelos de linguagem modernos. Ele processa todos os tokens de um texto em paralelo e usa a atenção para que os tokens troquem informação.

O transformer foi apresentado em 2017 num artigo científico chamado “Attention Is All You Need”, primeiro para traduzir entre línguas. A ideia central foi deixar de ler passo a passo e permitir que cada palavra olhe para todas as outras ao mesmo tempo.

Um transformer transforma cada token num embedding e o passa para cima por uma pilha de camadas iguais. Em cada camada, a atenção mistura informação de outros tokens e uma parte feed-forward refina cada token. O maior modelo do GPT-3 empilha 96 dessas camadas.

Como o trabalho acontece em paralelo, transformers treinam de forma eficiente nos chips modernos, o que tornou possíveis modelos muito grandes. A mesma arquitetura hoje também é usada para imagens, áudio e código.