Todos los temas / Cómo se crean los LLM
Cómo se crea un gran modelo de lenguaje, del texto en bruto al chatbot
Sigue a un modelo por toda la fábrica: reunir y limpiar texto, cortarlo en tokens, meses practicando a adivinar el siguiente token en miles de chips y, al final, el entrenamiento que convierte un autocompletado en un asistente útil. Cada lección es un dibujo animado de 6 minutos con un juego rápido. Sin matemáticas ni código.
- 24 lecciones
- 144 min
- Gratis
- Sin registro
Hola, soy Tomás. Ayudo a entrenar modelos de lenguaje en Vireo Labs. Te voy a enseñar cada puesto de la cadena, desde un montón desordenado de páginas web hasta un modelo que responde preguntas, y te mostraré dónde se toman las decisiones difíciles.
La materia prima
De dónde sale el texto, cómo se limpia y cómo se convierte en números
- 1
¿Qué es un gran modelo de lenguaje?
Un enorme predictor de la siguiente palabra, hecho de texto
- 2
De dónde sale el texto de entrenamiento
Rastreos web, libros, código y conversaciones
- 3
Limpiar los datos
Fuera duplicados, spam y datos privados
- 4
Tokens: cómo se trocea el texto
Por qué un modelo lee «increíblemente» en tres partes
- 5
Embeddings: palabras como puntos
Los significados parecidos acaban juntos
- 6
¿De quién son los datos?
Derechos de autor, consentimiento y exclusión
Preentrenamiento
El transformer, la atención y meses adivinando el siguiente token
- 7
El transformer
El diseño por capas detrás de todo LLM moderno
- 8
La atención
Cómo cada palabra mira a las palabras que importan
- 9
Adivina el siguiente token
El único juego del entrenamiento, billones de veces
- 10
Aprender de los errores
Pérdida, pequeños ajustes y miles de millones de diales
- 11
Escalar
Más datos, más parámetros, más chips
- 12
El modelo base
Un autocompletado brillante que aún no es asistente
De modelo a asistente
Instrucciones, feedback humano, razonamiento, seguridad y herramientas
- 13
Ajuste con instrucciones
Enseñar al modelo a seguir peticiones
- 14
Aprender del feedback humano
Personas comparan dos respuestas y eligen la mejor
- 15
Modelos de recompensa
Un segundo modelo que puntúa respuestas
- 16
Aprender a razonar
Pensar paso a paso en problemas con respuesta comprobable
- 17
Entrenamiento de seguridad
Rechazar el daño, ser honesto, admitir dudas
- 18
Herramientas y agentes
Búsqueda, código y acciones en el mundo
Pruebas y lanzamiento
Benchmarks, red teams, modelos más pequeños y cómo se genera una respuesta
- 19
Benchmarks y evaluaciones
Cómo recibe sus notas un modelo nuevo
- 20
Red teaming
Expertos intentan romper el modelo antes del lanzamiento
- 21
Modelos más pequeños
Destilación y cuantización
- 22
Cómo se genera una respuesta
Token a token, con una pizca de azar
- 23
Ventana de contexto y memoria
Lo que el modelo ve a la vez y lo que olvida
- 24
Fichas de modelo y lanzamiento
Lo que cuenta un lanzamiento responsable
Cómo funciona
- 01
Míralo
Un dibujo animado te enseña cómo funciona de verdad.
- 02
Pruébalo
Un juego corto te lo hace usar: detecta, clasifica, cambia, decide.
- 03
Quédatelo
Tres ideas clave y una insignia para tu hoja.
Preguntas frecuentes
¿Necesito saber matemáticas o programación?
No. Cada paso se muestra con un dibujo animado y ejemplos cotidianos. Verás qué es un token, un peso o un modelo de recompensa sin una sola fórmula.
¿Cuánto se tarda en entrenar un gran modelo de lenguaje?
El preentrenamiento de un modelo puntero suele durar de semanas a meses en miles de chips especializados, tras una larga fase de reunir y limpiar datos. Después viene el ajuste fino que lo convierte en asistente.
¿Este curso es gratis?
Sí. Todas las lecciones son gratis, sin registro y sin muros de pago.
¿En qué se diferencia del curso de alfabetización en IA?
Alfabetización en IA trata de entender la IA y usarla bien. Este curso entra entre bastidores y sigue a un modelo por cada fase: cómo se construye, se prueba y se lanza.