¿Qué es la atención en un transformer?
La atención es la parte de un transformer que permite a cada token decidir qué tokens anteriores le importan. Puntúa cada token anterior, convierte las puntuaciones en pesos que suman el 100 % y absorbe una mezcla ponderada de su información. Así encuentra «él» al gato del que se habla, y así sabe «banco» si es para sentarse o para guardar dinero.
▶ Pruébalo
Por qué importa
Una palabra sola suele ser ambigua. La atención es la forma en que un modelo de lenguaje averigua a qué se refieren «él», «banco» o «demasiado grande», dejando que cada palabra tome significado de las anteriores.
En 6 minutos sabrás
- La atención permite que cada palabra mire atrás y tome significado de las palabras que le importan.
- Los pesos siempre suman el 100 %, así que fijarse más en una palabra es fijarse menos en las demás.
- Cambia una palabra y la atención se desplaza: por eso el contexto cambia lo que entiende un modelo.
Lo que vas a practicar
Haz de cabeza de atención
Toca palabras anteriores para echarles atención. Gasta las 10 gotas y compara con una cabeza entrenada. Los pesos son ilustrativos.
El gato huyó porque él
¿Quién es «él»?
Cabeza entrenada: gato 64% · huyó 18% · porque 12%
Se lee como: él = el gato «Él» tiene que encontrar aquello a lo que se refiere. La cabeza entrenada pone casi todo su peso en «gato», el único candidato que puede huir.
Leímos tranquilos al sol sentados en el banco
¿Qué «banco»: de dinero o para sentarse?
Cabeza entrenada: sentados 66% · sol 14% · Leímos 6%
Se lee como: banco = un asiento Sola, «banco» podría ser de dinero. Apoyarse en «sentados», con algo de ayuda de «sol», la convierte en un asiento al aire libre.
El jarrón no cabe en el cajón . Demasiado grande
¿Qué es demasiado grande?
Cabeza entrenada: jarrón 56% · cabe 14% · cajón 13%
Se lee como: demasiado grande = el jarrón Lo que es demasiado grande no puede entrar. Para dar sentido a «grande», la cabeza mira atrás al jarrón, lo que tiene que caber.
El jarrón no cabe en el cajón . Demasiado pequeño
¿Y ahora: qué es demasiado pequeño?
Cabeza entrenada: cajón 54% · cabe 14% · jarrón 13%
Se lee como: demasiado pequeño = el cajón Una palabra cambió el significado, y los pesos cambiaron con ella. La atención se calcula de nuevo para cada texto; no es una tabla fija.
Dentro de una cabeza de atención
Toca cada tarjeta. Cada token lleva tres pequeñas listas de números.
- 🔦 Consulta (query): ¿qué busco?
- El token que mira envía una consulta, como «soy un pronombre, necesito un sustantivo que pueda huir».
- 🏷️ Clave (key): ¿qué ofrezco?
- Cada token anterior levanta una clave, una etiqueta de lo que es. Cuanto mejor encaja una clave con la consulta, más alta es su puntuación.
- 📦 Valor (value): ¿qué transmito?
- Las puntuaciones se convierten en pesos que suman el 100 %. La consulta absorbe una mezcla ponderada de los valores anteriores: sobre todo «gato», un poco del resto.
- 🧠 ¿Por qué muchas cabezas?
- Cada capa ejecuta muchas cabezas en paralelo. Una puede unir pronombres con sustantivos, otra seguir la palabra justo anterior, otra emparejar paréntesis.
¿Qué puede buscar una cabeza?
Los investigadores miran dentro de modelos entrenados. ¿Cuáles de estos patrones podría captar una cabeza de atención? Elige todos los que valgan.
- A qué sustantivo se refiere un pronombre como «ella»
- La palabra justo anterior a la actual
- El paréntesis de apertura que cierra un «)»
- El sujeto al que pertenece un verbo
- Palabras que vendrán más tarde en la respuesta
- Si la frase es verdad en el mundo real
Recuerda
Cada token reparte el 100 % de su atención entre los tokens anteriores y absorbe una mezcla de lo que significan. El contexto cambia la mezcla.
Cada palabra reparte el 100 % de su atención entre las palabras anteriores y absorbe una mezcla de lo que significan.
Datos clave
- El transformer, el diseño de los grandes modelos de lenguaje actuales, se presentó en un artículo de 2017 titulado «Attention Is All You Need». · Fuente: Vaswani et al., Google, 2017
- El transformer original ejecutaba 8 cabezas de atención en paralelo en cada capa. · Fuente: Vaswani et al., Attention Is All You Need, 2017
- GPT-3 tiene 96 capas con 96 cabezas de atención en cada una. · Fuente: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- Al examinar un modelo de lenguaje entrenado, unos investigadores encontraron cabezas concretas que unen pronombres con los sustantivos a los que se refieren y verbos con sus complementos, sin que nadie les enseñara gramática. · Fuente: Clark et al., What Does BERT Look At?, 2019
Actualizado:
Preguntas frecuentes
¿Qué es la autoatención, explicada fácil?
La autoatención (self-attention) permite que cada palabra de un texto mire a las demás palabras del mismo texto y decida cuánto le importa cada una. Luego la palabra absorbe una mezcla ponderada de su significado.
¿Qué son la consulta, la clave y el valor?
Tres pequeñas listas de números que lleva cada token. La consulta (query) dice qué busca un token, la clave (key) dice qué ofrece, y el valor (value) es lo que transmite cuando lo eligen.
¿Qué es la atención multicabeza?
Ejecutar varias cabezas de atención en paralelo en la misma capa. Cada cabeza aprende a buscar un tipo de relación distinto, y sus resultados se combinan.
¿Puede la atención mirar palabras futuras?
No en un modelo que escribe de izquierda a derecha. Cada token solo puede atender a sí mismo y a los tokens anteriores, porque los siguientes aún no se han escrito.
Términos relacionados