Saltar al contenido
ES

Lección 1 de 6 · 6 min · +100 XP

¿Qué es un modelo transformer en IA?

Un transformer es el diseño de red neuronal que hay detrás de los modelos de lenguaje modernos. Convierte cada token en una lista de números y la hace subir por una pila de capas idénticas. En cada capa, la atención permite que los tokens compartan información y una parte feed-forward refina cada uno. Arriba del todo, puntúa cada posible token siguiente.

▶ Pruébalo

Por qué importa

Casi todos los modelos de lenguaje modernos son transformers. Conocer sus dos movimientos, compartir entre palabras y pensar sobre cada palabra, explica cómo un modelo construye el significado capa a capa.

En 6 minutos sabrás

  • El texto se convierte en tokens, y cada token en una lista de números antes de entrar en la pila.
  • Cada capa tiene dos partes: la atención, donde las palabras comparten información, y el feed-forward, donde se refina cada palabra.
  • Apilar decenas de capas convierte apuestas toscas en predicciones nítidas.

Lo que vas a practicar

  1. Manda una frase por la pila

    Ordena el viaje de «El cielo es muy», del texto en bruto a la apuesta de Vireo.

    1. El texto se corta en tokens
    2. Cada token se convierte en una lista de números, su embedding
    3. Atención: cada token reúne pistas de los tokens anteriores
    4. Feed-forward: los números de cada token se refinan por separado
    5. Esas dos partes se repiten en cada capa, decenas de veces
    6. Arriba, los números del último token se convierten en una puntuación para cada posible token siguiente

  2. Espía dentro de la torre

    Los ingenieros pueden leer la apuesta de Vireo a mitad de la pila. Cada ronda es la misma frase a una altura distinta. Los porcentajes son ilustrativos.

    1. Capa 2 de 48:
      Las llaves del viejo armario       ___

      • está: 34 % (la más probable)
      • están: 20 %
      • puerta: 10 %
      • estaba: 8 %
      • otras palabras: 28 %
      Abajo en la pila, la apuesta se apoya en la palabra más cercana, «armario», que es singular. Las capas aún no han unido el verbo con «llaves».

    2. Capa 24 de 48:
      Las llaves del viejo armario       ___

      • están: 45 % (la más probable)
      • está: 24 %
      • estaban: 10 %
      • estaba: 5 %
      • otras palabras: 16 %
      A media altura, la atención ya ha conectado el verbo con «llaves», así que los verbos en plural adelantan a «está».

    3. Capa 48 de 48:
      Las llaves del viejo armario       ___

      • están: 78 % (la más probable)
      • estaban: 10 %
      • está: 3 %
      • estaba: 1 %
      • otras palabras: 8 %
      Arriba la apuesta es nítida. Cada capa añadió un poco de comprensión, y por eso los transformers apilan tantas.

  3. ¿Qué parte hace esto?

    Cada capa tiene dos partes. Clasifica cada tarea.

    • «él» recoge información de «gato», tres palabras atrás → Atención: las palabras comparten
    • Trabaja con un token cada vez, sin mirar a los demás → Feed-forward: cada palabra sola
    • Une un verbo con su sujeto, varias palabras antes → Atención: las palabras comparten
    • Guarda buena parte de lo que sabe el modelo, como datos que absorbió → Feed-forward: cada palabra sola
    • Decide cuánto importa ahora cada palabra anterior → Atención: las palabras comparten

  4. ¿Por qué ganaron los transformers?

    1. Los modelos de lenguaje antiguos leían el texto palabra tras palabra. ¿Qué cambió el transformer?

      • Procesa todos los tokens de un texto a la vez, así que aprovecha bien los chips al entrenar (Respuesta)
      • Lee aún más despacio y con más cuidado, letra a letra

    2. Vireo tiene 48 capas. ¿En qué se diferencian entre sí?

      • Mismo diseño, pero cada capa tiene sus propios pesos aprendidos (Respuesta)
      • Cada capa es una máquina de un tipo totalmente distinto

Recuerda

Un transformer es un diseño de capa apilado muchas veces: la atención deja que las palabras compartan, el feed-forward refina cada palabra y arriba se puntúa el siguiente token.

Los tokens suben por decenas de capas idénticas. Cada capa reparte información entre palabras y luego refina cada palabra.

Datos clave

  • El transformer se presentó en 2017, al principio para traducir entre idiomas. · Fuente: Vaswani et al., Attention Is All You Need, Google, 2017
  • El transformer original apilaba 6 capas a cada lado, un lado para leer la entrada y otro para escribir la salida. · Fuente: Vaswani et al., 2017
  • El modelo más grande de GPT-3 apila 96 capas de transformer. · Fuente: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
  • Unos investigadores vieron que las partes feed-forward de las capas de un transformer se comportan como memorias clave-valor que guardan patrones del texto de entrenamiento. · Fuente: Geva et al., Transformer Feed-Forward Layers Are Key-Value Memories, 2021

Actualizado:

Preguntas frecuentes

¿Qué significa la T de GPT?

Transformer. GPT son las siglas de Generative Pre-trained Transformer: un modelo que genera texto, se preentrena primero con mucho texto y usa el diseño transformer.

¿Qué es una capa en una red neuronal?

Una etapa de procesamiento. En un transformer, cada capa toma los números de todos los tokens, deja que compartan información con la atención, los refina con una parte feed-forward y los pasa a la capa siguiente.

¿Por qué los transformers son mejores que los modelos anteriores?

Procesan todos los tokens de un texto en paralelo al entrenar y pueden unir palabras muy alejadas. Eso hizo viable entrenar modelos mucho más grandes con mucho más texto.

¿Todos los grandes modelos de lenguaje son transformers?

Casi todos los populares hoy lo son, o son variantes cercanas. Los investigadores siguen probando otros diseños, pero el transformer es el estándar desde más o menos 2018.

Términos relacionados