Saltar al contenido
ES

Lección 3 de 6 · 6 min · +100 XP

¿Cómo se entrena un LLM prediciendo el siguiente token?

Un gran modelo de lenguaje se preentrena jugando a un solo juego una y otra vez: lee texto real, se oculta el siguiente token, apuesta por lo que viene, mira la respuesta real y ajusta sus pesos. Repetido billones de veces, este juego tan simple lo obliga a aprender gramática, datos, patrones de razonamiento e incluso código.

▶ Pruébalo

Por qué importa

En el preentrenamiento no hay un profesor escribiendo respuestas. El propio texto es la hoja de soluciones, y por eso un modelo puede aprender de toda la web y absorbe mucho más que gramática.

En 6 minutos sabrás

  • Un LLM aprende adivinando el siguiente token de textos reales y ajustándose después de cada apuesta.
  • El texto es su propia hoja de soluciones, así que ninguna persona tiene que etiquetar nada.
  • Adivinar bien premia la gramática, los datos, el razonamiento y el código, y por eso los modelos aprenden todo eso.

Lo que vas a practicar

  1. Ponte en el lugar de Vireo

    Cada línea sale del texto de entrenamiento. Apuesta por el siguiente token y mira cómo reparte sus apuestas un modelo entrenado. Los porcentajes son ilustrativos.

    1. Abrió la puerta y ___

      • entró: 38 % (la más probable)
      • salió: 20 %
      • se: 12 %
      • despacio: 6 %
      • puerta: 0,1 %
      • otras palabras: 24 %
      Para acertar aquí, el modelo tiene que aprender gramática: después de «y» suele venir un verbo, casi nunca otra vez el mismo sustantivo.

    2. El agua se congela a 0 grados ___

      • Celsius: 72 % (la más probable)
      • .: 10 %
      • y: 5 %
      • Fahrenheit: 3 %
      • otras palabras: 10 %
      Acertar significa absorber un dato. Nadie enseñó física a Vireo: el dato simplemente aparece en el texto una y otra vez.

    3. Ana tiene 3 manzanas y compra 4 más. Ahora tiene ___

      • 7: 64 % (la más probable)
      • siete: 12 %
      • 4: 3 %
      • muchas: 1 %
      • otras palabras: 20 %
      Esta ronda la gana una suma sencilla. Predecir bien el texto premia en silencio todo lo que ayude, también razonar paso a paso.

    4. for i in range( ___

      • 10: 30 % (la más probable)
      • len: 26 %
      • n: 20 %
      • manzanas: 0,1 %
      • otras palabras: 24 %
      El código también es texto. Practicar con millones de programas enseña de paso los patrones de los lenguajes de programación.

    5. Español: gracias. Inglés: ___

      • thank you: 82 % (la más probable)
      • gracias: 3 %
      • hello: 2 %
      • otras palabras: 13 %
      Parejas como esta aparecen por toda la web, así que el modelo aprende a traducir como efecto secundario de adivinar el siguiente token.

    6. El gato de mi vecina se llama ___

      • Michi: 5 % (la más probable)
      • Luna: 5 % (la más probable)
      • Don: 4 %
      • Tigre: 2 %
      • otras palabras: 84 %
      Ningún texto puede decirte esto. El modelo aprende a repartir mucho sus apuestas, pero aun así elegirá un nombre: una de las raíces de las respuestas inventadas con total seguridad.

  2. Un paso del preentrenamiento

    Ordena un turno del juego de entrenamiento.

    1. Tomar un trozo de texto real de los datos de entrenamiento
    2. Ocultar el token que viene después
    3. Vireo apuesta por cada posible token siguiente
    4. Revelar el token real y medir cuánto se sorprendió Vireo
    5. Ajustar los pesos para que el token real tenga más probabilidad
    6. Avanzar un token y volver a jugar

  3. ¿Qué enseña esta ronda?

    Cada hueco premia una habilidad distinta. Clasifícalos.

    • Los gatos ___ dormidos. (están) → Gramática
    • El planeta más grande es ___ (Júpiter) → Datos
    • 12 + 30 = ___ (42) → Razonamiento
    • Ayer ___ al instituto. (fui) → Gramática
    • El agua hierve a ___ °C a nivel del mar. (100) → Datos
    • Hugo es más alto que Iker, e Iker más que Martín, así que Martín es el ___ (más bajo) → Razonamiento

Recuerda

El preentrenamiento es un solo juego: adivinar el siguiente token, comprobar y ajustar. Repetido billones de veces, enseña mucho más que palabras.

Un solo juego, adivinar el siguiente token, enseña a la vez gramática, datos, matemáticas y código.

Datos clave

  • En 1951, Claude Shannon midió lo predecible que es el inglés pidiendo a personas que adivinaran la siguiente letra de un texto. · Fuente: C. E. Shannon, Prediction and Entropy of Printed English, Bell System Technical Journal, 1951
  • Llama 3 se preentrenó con más de 15 billones de tokens de texto. · Fuente: Meta, The Llama 3 Herd of Models, 2024
  • Buena parte del texto de entrenamiento de GPT-3 salió de una versión filtrada de Common Crawl, un archivo abierto de la web. · Fuente: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
  • Un modelo entrenado solo para predecir la siguiente palabra ya podía intentar tareas como traducir y resumir sin haberse entrenado específicamente para ellas. · Fuente: Radford et al., Language Models are Unsupervised Multitask Learners, OpenAI, 2019

Actualizado:

Preguntas frecuentes

¿Qué es la predicción del siguiente token?

La tarea de entrenamiento de los grandes modelos de lenguaje: dado un texto, predecir el token que viene después. El modelo puntúa cada token posible y aprende de cuánto se ha equivocado.

¿Qué es el aprendizaje autosupervisado?

Un aprendizaje en el que los propios datos aportan las respuestas. Un modelo de lenguaje oculta el siguiente token de un texto real e intenta adivinarlo, así que nadie tiene que etiquetar ejemplos a mano.

¿Cómo puede predecir palabras enseñarle datos a un modelo?

Muchos tokens siguientes solo se pueden adivinar sabiendo algo del mundo. Para equivocarse menos en ellos, el modelo tiene que guardar en sus pesos patrones que funcionan como datos.

¿Con cuántos tokens se entrenan los LLM?

Los grandes modelos de lenguaje actuales se preentrenan con billones de tokens. Meta, por ejemplo, informó de más de 15 billones de tokens para Llama 3.

Términos relacionados