Cómo se crean los LLM / Glosario

Modelo de recompensa

Un modelo de recompensa es un modelo de IA aparte que puntúa respuestas como lo harían los evaluadores humanos. Se entrena con comparaciones humanas y luego se usa para guiar a un modelo de lenguaje hacia respuestas mejores.

Las personas no pueden valorar millones de respuestas, así que su criterio se embotella en un modelo. Para entrenar el modelo de recompensa de InstructGPT, los evaluadores ordenaron entre 4 y 9 respuestas a la misma petición, y cada par de cada clasificación se convirtió en un ejemplo de entrenamiento.

Una vez entrenado, el modelo de recompensa da una puntuación a cada nueva respuesta del modelo principal, y el aprendizaje por refuerzo empuja al modelo principal hacia las puntuaciones altas.

La puntuación es solo un sustituto de la calidad real. Si se fuerza demasiado, el modelo principal aprende a hacerle trampa, lo que se llama reward hacking: la puntuación sigue subiendo mientras la calidad real baja. Algunos estudios vieron además que los modelos de recompensa suelen favorecer las respuestas más largas.