¿Cómo aprenden los modelos de razonamiento de IA a pensar paso a paso?
Los modelos de razonamiento se entrenan con aprendizaje por refuerzo en problemas cuya respuesta se puede comprobar, como las matemáticas o el código. El modelo escribe muchos intentos, cada uno una cadena de pasos de pensamiento, y un verificador automático premia solo los que llegan a la respuesta correcta. Con el tiempo se refuerzan hábitos cuidadosos, como ir paso a paso y revisar su propio trabajo.
▶ Pruébalo
Por qué importa
Algunas respuestas se pueden comprobar de forma automática, sin ninguna persona. Eso permite a un modelo practicar con millones de problemas y aprender qué formas de pensar llegan de verdad a la respuesta correcta.
En 6 minutos sabrás
- Las respuestas de matemáticas y de código se pueden comprobar solas, así que un modelo puede practicar con millones de problemas.
- El aprendizaje por refuerzo premia las cadenas de pensamiento que llegan a la respuesta correcta.
- Hábitos como dividir problemas y revisar el trabajo crecen porque compensan. Aun así, comprueba las respuestas importantes.
Lo que vas a practicar
Revisa las cadenas
En cada intento, toca el primer paso erróneo, o «Sin errores». Luego pasa el verificador y mira las barras.
Problema: 17 × 24 = ? → 408
- Suelta una respuesta: Parece que unos 400 → [✗ Así que: 398] → 398 ✗
- Pasos, sin revisar: 17 × 20 = 340 → [✗ 17 × 4 = 58] → 340 + 58 = 398 → 398 ✗
- Pasos y revisión: 17 × 20 = 340 → 17 × 4 = 68 → 340 + 68 = 408 → Revisión: 17 × 25 − 17 = 408 ✓ → 408 ✓
Problema: Una camiseta de 40 € tiene un 25 % de descuento. ¿Cuánto pagas? → 30 €
- Pasos, sin revisar: 25 % de 40 = 10 → 40 − 10 = 30 → 30 € ✓
- Suelta una respuesta: [✗ 25 % de descuento, así que 25 €] → 25 € ✗
- Pasos y revisión: 25 % = una cuarta parte → 40 ÷ 4 = 10 → 40 − 10 = 30 → Revisión: 30 es el 75 % de 40 ✓ → 30 € ✓
Problema: Lucía tiene 3 años más que Hugo. Entre los dos suman 21. ¿Cuántos años tiene Lucía? → 12
- Pasos y revisión: Hugo = x, Lucía = x + 3 → 2x + 3 = 21 → x = 9, así que Lucía = 12 → Revisión: 12 + 9 = 21 ✓ → 12 ✓
- Pasos, sin revisar: Hugo = x, Lucía = x + 3 → 2x + 3 = 21 → x = 9 → [✗ Así que Lucía tiene 9] → 9 ✗
- Suelta una respuesta: Más o menos la mitad de 21 → [✗ Así que Lucía tiene 10] → 10 ✗
Problema: Un tren sale a las 9:47 y el viaje dura 2 h 38 min. ¿A qué hora llega?
9:47 + 2 h = 11:47 → 11:47 + 38 min = 11:85 → Un momento: 85 min no es una hora válida. 85 min = 1 h 25 min → 11:00 + 1 h 25 min = 12:25 → Revisión: de 9:47 a 12:25 hay 2 h 38 min ✓ → 12:25 ✓¿Lo puede puntuar un verificador?
Este entrenamiento necesita respuestas que un programa pueda comprobar. ¿Qué tareas sirven?
- Despeja x: 3x + 5 = 20 → Un verificador puede puntuarla
- Escribe una nota amable para un vecino nuevo → Necesita criterio humano
- Arregla este código para que pase todas sus pruebas → Un verificador puede puntuarla
- ¿Es clara esta explicación para alguien de 12 años? → Necesita criterio humano
- ¿Cuántos días hay del 3 de marzo al 1 de abril? → Un verificador puede puntuarla
- ¿Cuál de dos poemas emociona más? → Necesita criterio humano
¿Qué hábitos se premiaron?
Nadie programó la forma de pensar de Vireo. ¿Qué hábitos suelen crecer al premiar las respuestas correctas? Elige todos los que correspondan.
- Dividir un problema en pasos pequeños
- Comprobar la respuesta de otra forma
- Probar otro camino tras un callejón sin salida
- Pensar más en los problemas difíciles
- Sonar más seguro
- Usar palabras más largas
Recuerda
Los modelos de razonamiento practican con problemas de respuesta comprobable. Premiar los aciertos hace más probable un pensamiento cuidadoso y paso a paso.
Premia la respuesta correcta las veces suficientes y los buenos hábitos de pensamiento crecen solos.
Datos clave
- Se demostró que pedir a un modelo grande que escriba su razonamiento paso a paso, lo que se llama cadena de pensamiento (chain of thought), mejora su precisión en problemas de matemáticas con enunciado. · Fuente: Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, Google, 2022
- OpenAI informó de que su modelo o1 rinde mejor tanto con más entrenamiento por refuerzo como con más tiempo para pensar antes de responder. · Fuente: OpenAI, Learning to Reason with LLMs, 2024
- DeepSeek informó de que el aprendizaje por refuerzo con premios sencillos basados en reglas para las respuestas correctas llevó a su modelo R1-Zero a desarrollar razonamientos largos y autorrevisión sin ejemplos de razonamiento escritos por personas. · Fuente: DeepSeek-AI, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, 2025
- Las tareas con respuesta verificable, como resultados matemáticos o código que debe pasar pruebas, encajan en este entrenamiento porque el premio se calcula automáticamente, sin un evaluador humano.
Actualizado:
Preguntas frecuentes
¿Qué es un modelo de razonamiento?
Es un modelo de lenguaje entrenado para resolver un problema mediante una cadena de pasos de pensamiento antes de responder. Suele entrenarse con aprendizaje por refuerzo en problemas cuyas respuestas se pueden comprobar.
¿Qué es la cadena de pensamiento?
Es el razonamiento paso a paso que escribe un modelo camino de una respuesta, como cuando muestras las operaciones en un examen de matemáticas. Suele hacer más precisas las respuestas a problemas de varios pasos.
¿Por qué tardan más en responder los modelos de razonamiento?
Escriben muchos pasos de pensamiento antes de la respuesta final, y los problemas difíciles reciben más pasos. Cada paso cuesta tiempo y capacidad de cálculo, pero suele mejorar la precisión.
¿Se siguen equivocando los modelos de razonamiento?
Sí. Cometen menos fallos en problemas comprobables, pero aún pueden razonar a partir de un dato falso o producir una cadena convincente pero defectuosa. Comprueba las respuestas importantes.
Términos relacionados