Saltar al contenido
ES

Lección 1 de 6 · 6 min · +100 XP

¿Qué es un gran modelo de lenguaje (LLM)?

Un gran modelo de lenguaje (LLM) es un sistema de IA entrenado con cantidades enormes de texto para hacer una sola cosa: predecir el siguiente trozo de texto. Ante unas palabras, puntúa cada token posible, elige uno probable y repite. Miles de millones de números ajustados durante el entrenamiento guardan los patrones aprendidos, y así puede responder, traducir, resumir y programar.

▶ Pruébalo

Por qué importa

Todo chatbot funciona con un LLM. Cuando ves que es un predictor de la siguiente palabra, entiendes por qué suena tan fluido, por qué sabe tanto y por qué aun así puede equivocarse con total seguridad.

En 6 minutos sabrás

  • Cuando un chatbot responda, imagínalo ordenando palabras siguientes: eso explica tanto su fluidez como sus despistes.
  • Comprueba los nombres, fechas y cifras que te da, porque una respuesta que suena probable puede ser inventada.
  • Úsalo para borradores, explicaciones y reformulaciones, donde una redacción probable es justo lo que buscas.

Lo que vas a practicar

  1. Gran. Modelo. De lenguaje.

    Toca cada tarjeta para desmontar el nombre.

    📏 Gran
    Miles de millones de números ajustables, llamados parámetros, entrenados con billones de palabras. El tamaño explica buena parte de lo bien que funciona.
    💬 De lenguaje
    Trabaja con texto: lo lee y lo escribe, en muchos idiomas humanos y en código de programación.
    🧮 Modelo
    Una función matemática gigante. Entra texto y sale una puntuación para cada posible token siguiente.
    🎯 ¿Y qué hace en realidad?
    Una sola cosa, una y otra vez: predecir el siguiente trozo de texto. Responder, resumir y traducir se apoyan en eso.

  2. Ponte en el lugar de Vireo

    Elige la palabra que crees que viene después. Luego mira lo probable que era cada opción. Los porcentajes son ilustrativos.

    1. El gato duerme en el ___

      • sofá: 62 % (la más probable)
      • suelo: 21 %
      • tejado: 9 %
      • volcán: 0,1 %
      • otras palabras: 8 %
      Vireo ha visto esta frase tantas veces que «sofá» destaca sobre el resto. Una lista ordenada como esta es lo único que produce el modelo.

    2. El agua se congela a cero grados ___

      • Celsius: 80 % (la más probable)
      • Fahrenheit: 5 %
      • hoy: 2 %
      • otras palabras: 13 %
      Un dato repetido en incontables textos se convierte en una predicción fuerte. Así «sabe» cosas un modelo: como patrones, no como una lista de datos.

    3. Traduce al inglés: buenos días → ___

      • good morning: 88 % (la más probable)
      • good night: 4 %
      • hola: 2 %
      • otras palabras: 6 %
      Nadie programó un traductor. Predecir texto en muchos idiomas enseñó a Vireo qué palabras van juntas.

    4. Tomás, ingeniero de entrenamiento en Vireo Labs, nació en ___

      • España: 20 % (la más probable)
      • 1990: 14 %
      • Lisboa: 10 %
      • México: 9 %
      • otras palabras: 47 %
      Vireo nunca ha leído nada sobre Tomás, pero aun así ordena opciones y elegirá una. Así es como una respuesta fluida puede ser pura invención.

  3. ¿Verdad o mito?

    Clasifica cada afirmación sobre los grandes modelos de lenguaje.

    • Aprendió de cantidades enormes de texto → Verdad
    • Busca las respuestas en una base de datos → Mito
    • Escribe un token cada vez → Verdad
    • Alguien escribió una regla para cada respuesta → Mito
    • Puede sonar seguro y aun así equivocarse → Verdad
    • Da siempre la misma respuesta → Mito

  4. La cadena de montaje

    Este curso sigue a Vireo del texto en bruto al asistente. Ordena los puestos.

    1. Reunir cantidades enormes de texto
    2. Limpiarlo y cortarlo en tokens
    3. Preentrenar: adivinar el siguiente token, billones de veces
    4. Ajustarlo para seguir instrucciones y feedback
    5. Probarlo a fondo y luego lanzarlo

Recuerda

Un LLM es un predictor del siguiente token entrenado con muchísimo texto. Fluido significa probable, no necesariamente cierto.

Un LLM predice el siguiente token una y otra vez. Su conocimiento son patrones guardados en miles de millones de números.

Datos clave

  • La mayoría de los grandes modelos de lenguaje actuales se basan en el transformer, un diseño presentado en un artículo de investigación de 2017. · Fuente: Vaswani et al., Google, Attention Is All You Need, NeurIPS 2017
  • GPT-3 tenía 175.000 millones de parámetros, los números ajustables que guardan lo que aprende un modelo. · Fuente: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
  • Llama 3 se preentrenó con más de 15 billones de tokens de texto. · Fuente: Meta, Introducing Meta Llama 3, 2024
  • La gente prefirió las respuestas de un modelo de 1.300 millones de parámetros ajustado para seguir instrucciones a las del GPT-3 de 175.000 millones: el entrenamiento posterior al preentrenamiento importa. · Fuente: Ouyang et al., OpenAI, Training language models to follow instructions with human feedback, 2022

Actualizado:

Preguntas frecuentes

¿Qué significa LLM?

LLM son las siglas en inglés de large language model, gran modelo de lenguaje: un modelo de IA con miles de millones de parámetros, entrenado con enormes cantidades de texto para predecir el siguiente token.

¿Un chatbot es lo mismo que un LLM?

Un chatbot es una aplicación construida alrededor de un LLM. El modelo predice texto; la aplicación añade la ventana de chat, entrenamiento extra para seguir instrucciones, normas de seguridad y a veces herramientas como la búsqueda web.

¿Entiende un gran modelo de lenguaje lo que dice?

No como lo hacen las personas. Ha aprendido patrones del lenguaje muy detallados, y eso lo hace útil, pero no tiene una forma integrada de comprobar si una frase es verdad.

¿Por qué se llaman «grandes»?

Por su tamaño: miles de millones de parámetros, entrenados con billones de palabras y una potencia de cálculo enorme. En general, los modelos más grandes entrenados con más datos han ido siendo más capaces.

Términos relacionados