Saltar al contenido
ES

Lección 4 de 6 · 6 min · +100 XP

¿Cómo genera un LLM una respuesta, token a token?

Un modelo de lenguaje escribe su respuesta token a token. En cada paso puntúa todos los tokens siguientes posibles, convierte las puntuaciones en probabilidades y sortea uno, así que los tokens probables ganan casi siempre. El token se añade al texto y el ciclo se repite hasta un token de parada. La temperatura hace el sorteo más prudente o más atrevido.

▶ Pruébalo

Por qué importa

Cada respuesta que lees se sorteó token a token a partir de una lista de probabilidades. Saberlo explica por qué las respuestas van apareciendo, por qué varían y cómo un solo control cambia el tono.

En 6 minutos sabrás

  • Los modelos de lenguaje escriben puntuando cada token siguiente, sorteando uno y repitiendo.
  • Las distintas respuestas a una misma pregunta vienen de sorteos distintos, no de un cambio de opinión.
  • Para datos y matemáticas ayudan los ajustes estables; para ideas, los más templados dan variedad.

Lo que vas a practicar

  1. El ciclo de generación

    Le mandas una pregunta a Vireo. Ordena los pasos para escribir la respuesta.

    1. Tu mensaje se divide en tokens
    2. El modelo puntúa todos los tokens siguientes posibles
    3. Las puntuaciones se vuelven probabilidades, moldeadas por la temperatura
    4. Se sortea un token y se añade al texto
    5. El ciclo se repite hasta que sale un token de parada

  2. Maneja la máquina de generar

    Pulsa Siguiente token y mira cómo la ruleta sortea cada palabra. Luego ajusta los controles para cada misión y pruébalos. Las probabilidades son inventadas para mostrar la idea.

    1. Una respuesta de matemáticas tiene que ser fiable: el número correcto, todas y cada una de las veces.

      Tú: ¿Cuánto es 7 × 8?

      Siguiente token · probabilidades

      1. “7 × 8” 70 % · “Siete por ocho” 22 % · “El resultado” 8 %
      2. “es” 90 % · “da” 8 % · “hace” 2 %
      3. “56” 84 % · “54” 7 % · “58” 5 % · “65” 3 % · “morado” 1 %
      4. “.” 90 % · “!” 10 %

      ✓ Con temperatura baja, el token favorito gana casi todos los sorteos, así que las tres respuestas dicen 56. Para datos, matemáticas y código, lo que quieres es frío.

    2. Lluvia de ideas: el club de robótica quiere muchos nombres de equipo distintos para votar.

      Tú: Propón un nombre para nuestro equipo de robótica.

      Siguiente token · probabilidades

      1. “Los” 100 %
      2. “Búhos” 50 % · “Cohetes” 20 % · “Magos” 14 % · “Zorros” 10 % · “Rayos” 6 %
      3. “del Circuito” 55 % · “Turbo” 20 % · “de Acero” 12 % · “Píxel” 9 % · “Chispa” 4 %

      ✓ Con probabilidades más templadas, las palabras menos probables tienen una oportunidad real, así que cada sorteo trae un nombre nuevo. Para ideas, la variedad es lo que cuenta.

    3. El arranque de un cuento debe sorprender al lector, pero aun así tiene que tener sentido.

      Tú: Empieza un cuento corto sobre un faro.

      Siguiente token · probabilidades

      1. “El farero” 100 %
      2. “encontró” 48 % · “oyó” 26 % · “pintó” 18 % · “el” 5 % · “comió” 3 %
      3. “un” 66 % · “un viejo” 20 % · “otro” 10 % · “glorp” 4 %
      4. “mensaje” 40 % · “cachalote” 25 % · “portón” 20 % · “calcetín” 10 % · “de de” 5 %
      5. “en la niebla.” 50 % · “bajo la escalera.” 28 % · “en una botella.” 17 % · “plátano plátano” 5 %

      ✓ Temperatura alta para sorprender y top-k 3 para que en cada paso solo puedan salir las tres palabras más probables. Creativo, y sin la cola de disparates.

  3. Qué significa para ti

    1. Haces a Vireo la misma pregunta dos veces y recibes dos redacciones distintas. ¿Qué ha pasado?

      • Cada token se volvió a sortear según las probabilidades (Respuesta)
      • Vireo aprendió algo nuevo entre las dos preguntas

    2. ¿Por qué una respuesta larga aparece en pantalla palabra a palabra?

      • Cada token se genera solo después del anterior (Respuesta)
      • Es una animación para que la app parezca simpática

    3. Una desarrolladora pone la temperatura a 0 en una herramienta que rellena la declaración de la renta. ¿Buena idea?

      • Sí: el token favorito gana siempre, así que las respuestas son estables (Respuesta)
      • No: con temperatura 0 el modelo se apaga

Recuerda

Una respuesta se sortea token a token a partir de una lista de probabilidades. Temperatura baja es estable; temperatura alta, creativa.

Una respuesta se sortea token a token según probabilidades. Temperatura baja es fiable, alta es creativa, y top-k corta los disparates.

Datos clave

  • El transformer, el diseño en que se basan los grandes modelos de lenguaje actuales, genera su salida token a token y usa cada token nuevo como entrada para el siguiente. · Fuente: Vaswani et al., Attention Is All You Need, Google, 2017
  • Unos investigadores vieron que elegir siempre la palabra más probable tiende a producir textos sosos y repetitivos, y propusieron el muestreo de núcleo (top-p), que sortea solo entre el conjunto más pequeño de tokens que cubre la mayor parte de la probabilidad. · Fuente: Holtzman et al., The Curious Case of Neural Text Degeneration, ICLR 2020
  • El muestreo top-k, que sortea solo entre los k tokens más probables, se usó para generar cuentos más variados que con la decodificación estándar. · Fuente: Fan, Lewis and Dauphin, Hierarchical Neural Story Generation, ACL 2018
  • La temperatura divide las puntuaciones brutas del modelo antes de convertirlas en probabilidades: por debajo de 1 el favorito se refuerza; por encima de 1 las probabilidades se igualan.

Actualizado:

Preguntas frecuentes

¿Qué es la temperatura en un LLM?

Es un ajuste que remodela las probabilidades antes de sortear cada token. Con valores bajos, el token más probable gana casi siempre y las respuestas son estables. Con valores altos, las probabilidades se aplanan y las respuestas son más variadas y, si te pasas, menos sensatas.

¿Por qué los chatbots dan respuestas distintas a la misma pregunta?

Los chatbots suelen sortear cada token según una lista de probabilidades en vez de quedarse siempre con el primero. Un sorteo distinto al principio de la respuesta lleva a otra redacción y, a veces, a otra respuesta.

¿Qué es el muestreo top-k?

El muestreo top-k deja que el modelo sortee solo entre los k tokens siguientes más probables. Mantiene algo de variedad y corta la larga cola de tokens improbables, que a menudo son disparates.

¿Cómo sabe un LLM cuándo dejar de escribir?

Durante el entrenamiento aprendió un token especial de parada que marca el final de una respuesta. Cuando sale ese token, o se alcanza un límite de longitud, la generación termina.

Términos relacionados