Cómo se crean los LLM / Glosario

Mecanismo de atención

El mecanismo de atención es la parte de un transformer que permite a cada token valorar cuánto le importa cada uno de los demás y luego absorber una mezcla de su información según esos pesos.

Para cada token, la atención puntúa lo relevante que es cada otro token, convierte esas puntuaciones en pesos que suman el 100 % y mezcla su información. Así es como «él» en una frase encuentra el sustantivo al que se refiere y como «banco» averigua si es para sentarse o para guardar dinero.

Un modelo ejecuta varias cabezas de atención en paralelo, y cada una puede aprender un tipo de relación distinto, como pronombres con sustantivos o verbos con sus complementos. El transformer original usaba 8 cabezas por capa; GPT-3 usa 96.

La atención compara cada token con todos los demás, así que su trabajo crece con el cuadrado de la longitud del texto. Es una de las razones principales de que la ventana de contexto de un modelo tenga un límite.