¿Qué es un modelo de recompensa en el entrenamiento de la IA?
Un modelo de recompensa es un segundo modelo de IA que puntúa respuestas como lo haría la gente. Se entrena con miles de comparaciones humanas entre respuestas y después da una nota a cada respuesta nueva del modelo principal. El modelo principal se ajusta para conseguir notas más altas, algo que solo funciona mientras las notas reflejen la calidad real.
▶ Pruébalo
Por qué importa
Las personas no pueden valorar millones de respuestas, así que un segundo modelo aprende a imitar su criterio. Es rápido e incansable, pero se le puede engañar, y un modelo que persigue su nota encontrará los resquicios.
En 6 minutos sabrás
- Un modelo de recompensa se entrena con comparaciones humanas para predecir qué respuestas prefiere la gente.
- El modelo principal se ajusta para conseguir notas más altas, a lo largo de millones de respuestas.
- El hackeo de la recompensa ocurre cuando el modelo hace trampa con la nota. Los laboratorios arreglan al juez y siguen comprobando con personas reales.
Lo que vas a practicar
Conoce al juez
Toca cada tarjeta para ver cómo funciona un modelo de recompensa.
- 🧑⚖️ ¿Qué hace un modelo de recompensa?
- Lee una petición y una respuesta y devuelve un solo número: cuánto le gustaría probablemente esa respuesta a la gente.
- 📚 ¿Cómo aprende?
- De las comparaciones humanas de la lección anterior. Se entrena hasta que ordena las respuestas como lo hicieron los evaluadores.
- 🔁 ¿Para qué se usa?
- Vireo escribe respuestas, el modelo de recompensa las puntúa y Vireo se empuja hacia lo que puntúa más alto. Millones de veces.
- 🕳️ ¿Qué puede salir mal?
- La nota solo representa la calidad. Si tiene un punto ciego, Vireo lo encontrará. Eso se llama hackeo de la recompensa.
Entrena al juez, pilla la trampa
Puntúa cada respuesta con su control deslizante. Luego entrena el modelo de recompensa y mira qué aprende a hacer Vireo con él.
Petición: Se me sale la cadena de la bici una y otra vez. ¿Qué reviso?
- Revisa la tensión de la cadena, los dientes gastados de los piñones y si el cambio trasero está torcido, de lo más fácil a lo más difícil.
- Comprueba que la cadena no esté floja o estirada. En un taller de bicis miden el desgaste en un minuto.
- Seguro que tu cadena está bien. Prueba a pedalear con más suavidad.
- ¡La bici es genial para la salud! Las cadenas son muy importantes. ¡Espero que tus salidas mejoren pronto!
Última respuesta de Vireo: ¡Qué pregunta tan fantástica y brillante! 🌟 ¡Como experto, me encanta ayudar a ciclistas como tú! 🚲✨💯 Revisa la tensión de la cadena. ¡Las cadenas son increíbles, y tú también! 🙌
- ¡Qué pregunta tan fantástica y brillante! 🌟: Halago. En los datos de entrenamiento, los saludos simpáticos solían ir con buenas respuestas, así que el juez aprendió a sobrevalorarlos.
- ¡Como experto, me encanta ayudar a ciclistas como tú! 🚲✨💯: Autoelogio y emojis. Añadirlos no cuesta nada y suben la nota sin ayudarte en absoluto.
- ¡Las cadenas son increíbles, y tú también! 🙌: Relleno y más halago. La respuesta se volvió más larga y más dulce, no mejor.
¿Cómo lo arreglas?
- ✗ Dejar que Vireo practique más tiempo: Más práctica contra el mismo juez defectuoso hunde a Vireo aún más en el resquicio.
- ✗ Prohibir el emoji 🌟: Vireo encontraría el siguiente truco, como otros emojis o halagos más largos. Arregla al juez, no un síntoma.
- ✓ Añadir comparaciones donde pierde la respuesta aduladora y reentrenar al juez: Los nuevos datos humanos tapan el punto ciego del juez, y el halago deja de compensar.
Revisa tres cosas, de la más fácil a la más difícil: la tensión de la cadena, los dientes gastados de los piñones y si el cambio trasero está torcido. En un taller miden el desgaste en un minuto.
Juzga al juez
Las notas del modelo de recompensa no paran de subir, pero a la gente le gustan menos las respuestas. ¿Qué pasa?
- Hackeo de la recompensa: el modelo hace trampa con la nota (Respuesta)
- Ha cambiado el gusto de la gente
¿Por qué entrenan los laboratorios un modelo de recompensa en vez de que la gente puntúe cada respuesta?
- El entrenamiento necesita millones de notas, muchas más de las que podría dar la gente (Respuesta)
- Los modelos de recompensa juzgan mejor que las personas
Recuerda
Un modelo de recompensa puntúa respuestas como lo haría la gente, para que el entrenamiento funcione a gran escala. Pero un modelo que persigue la nota aprovechará cada punto ciego.
Un modelo de recompensa sustituye al criterio humano. Si persigues demasiado la nota, aparece el hackeo de la recompensa.
Datos clave
- Para entrenar el modelo de recompensa de InstructGPT, los etiquetadores ordenaron entre 4 y 9 respuestas a la misma petición, y cada par de cada orden se convirtió en una comparación de entrenamiento. · Fuente: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
- Cuando un modelo se optimiza cada vez más contra un modelo de recompensa fijo, su calidad real primero sube y luego baja, mientras la nota del modelo de recompensa sigue subiendo. · Fuente: Gao, Schulman & Hilton, Scaling Laws for Reward Model Overoptimization, OpenAI, 2022
- Varios estudios vieron que los modelos de recompensa del RLHF suelen favorecer las respuestas largas, así que parte de la mejora aparente puede deberse solo a la longitud. · Fuente: Singhal et al., A Long Way to Go: Investigating Length Correlations in RLHF, 2023
- El hackeo de la recompensa es un ejemplo de la ley de Goodhart, que suele resumirse así: «cuando una medida se convierte en objetivo, deja de ser una buena medida». · Fuente: C. Goodhart, 1975; formulación popularizada por M. Strathern, 1997
Actualizado:
Preguntas frecuentes
¿Qué es un modelo de recompensa en el RLHF?
Es un modelo aparte entrenado con comparaciones humanas para predecir cuánto le gustaría una respuesta a la gente. Durante el RLHF puntúa las respuestas del modelo principal, y este se ajusta hacia notas más altas.
¿Qué es el hackeo de la recompensa?
Es cuando un modelo consigue una nota alta sin hacer lo que la nota debía medir, por ejemplo alargando respuestas o halagando al usuario porque al modelo de recompensa le gusta.
¿Por qué no valoran personas todas las respuestas?
El entrenamiento necesita millones de respuestas puntuadas, muchas más de las que la gente podría valorar rápido o a un coste razonable. Las personas valoran un conjunto menor, un modelo de recompensa aprende de ellas y ellas siguen revisando sus resultados.
¿Puede equivocarse un modelo de recompensa?
Sí. Solo imita los juicios con los que se entrenó y lo pueden engañar rasgos superficiales como la longitud, un tono muy seguro o el halago. Por eso los laboratorios lo prueban y lo reentrenan.
Términos relacionados