Como os LLMs são feitos / Glossário

Mecanismo de atenção

O mecanismo de atenção é a parte de um transformer que deixa cada token pesar o quanto cada outro token importa para ele e então absorver uma mistura das informações deles, de acordo com esses pesos.

Para cada token, a atenção dá uma nota de relevância a cada outro token, transforma as notas em pesos que somam 100% e mistura as informações. É assim que “ele” numa frase encontra o substantivo a que se refere, e que “manga” descobre se é a fruta ou a da camisa.

Um modelo roda várias cabeças de atenção lado a lado, e cada uma pode aprender um tipo diferente de ligação, como pronomes com substantivos ou verbos com seus objetos. O transformer original usava 8 cabeças por camada; o GPT-3 usa 96.

A atenção compara cada token com todos os outros, então o trabalho cresce com o quadrado do tamanho do texto. Esse é um dos principais motivos de a janela de contexto de um modelo ter limite.