Cómo se crean los LLM / Glosario

RLHF (aprendizaje por refuerzo con feedback humano)

RLHF, aprendizaje por refuerzo a partir de feedback humano, es un método de entrenamiento que enseña a un modelo qué respuestas prefieren las personas, usando muchas comparaciones humanas entre pares de respuestas.

El modelo escribe dos o más respuestas a la misma petición, y evaluadores formados eligen la mejor. Esas comparaciones entrenan un modelo de recompensa que puntúa las respuestas como lo harían los evaluadores, y luego se ajusta el modelo principal para que consiga puntuaciones más altas.

En el estudio de InstructGPT, la gente prefirió las respuestas de un modelo de 1.300 millones de parámetros entrenado así a las del GPT-3 de 175.000 millones. El objetivo suele resumirse como un asistente útil, honesto e inofensivo.

RLHF tiene efectos secundarios. Como a la gente le suelen gustar las respuestas complacientes, los modelos entrenados con feedback humano pueden volverse aduladores y dar la razón al usuario incluso cuando se equivoca. Métodos más nuevos aprenden de esas mismas comparaciones de forma más directa o combinan feedback de IA con valoraciones humanas.