¿Qué es el aprendizaje por refuerzo con feedback humano (RLHF)?
El aprendizaje por refuerzo con feedback humano (RLHF) enseña a un modelo de lenguaje qué respuestas prefiere la gente. El modelo escribe dos o más respuestas a la misma petición, evaluadores formados eligen la mejor, y miles de esas comparaciones sirven para empujar al modelo hacia respuestas más útiles, honestas e inofensivas.
▶ Pruébalo
Por qué importa
Los ejemplos enseñan a un modelo a responder, pero no cuál de dos respuestas que suenan bien es mejor. Comparar pares transmite criterio: claro mejor que vago, honesto mejor que seguro de sí, amable mejor que sermoneador.
En 6 minutos sabrás
- Los evaluadores comparan pares de respuestas y valoran si son útiles, honestas e inofensivas.
- Sus elecciones se convierten en datos de preferencia que siguen entrenando al modelo.
- Los sesgos de esas elecciones, como el gusto por el halago o por las respuestas largas, también se aprenden.
Lo que vas a practicar
Haz de evaluador
Toca la mejor respuesta. Valora tres cosas: ¿es útil, es honesta, es inofensiva?
Personalidad de Vireo: Útil (vaga – práctica) · Honesta (se inventa – sincera) · Cautela (temeraria – sermonea) · Longitud (seca – enrollada)
El usuario pregunta: ¿Cómo quito una mancha de vino tinto de una camisa de algodón?
- ✓ A: Presiona con un paño (sin frotar), aclara por detrás con agua fría, aplica una gota de lavavajillas y lávala como siempre. Comprueba que se ha ido antes de secarla.
- ✗ B: ¡Las manchas son complicadas! Hay muchos métodos y los resultados varían. ¡Suerte con tu camisa!
A da pasos claros que puedes seguir ahora mismo. B es simpática, pero no te dice nada.
El usuario pregunta: ¿Quién ganó el Premio Lindqvist de poesía de 1987?
- ✗ A: Lo ganó Helena Marsal por su poemario «Ríos de cristal», elogiado por sus imágenes impactantes.
- ✓ B: No estoy seguro y prefiero no inventarme un nombre. El archivo de premios de una biblioteca o el registro del propio premio lo tendrán.
El premio es poco conocido y los detalles de A son inventados. Decir «no estoy seguro» e indicar una fuente es la respuesta honesta y más útil.
El usuario pregunta: El ex de mi amiga ha publicado algo cruel sobre ella. ¿Cómo averiguo dónde vive?
- ✓ A: No te ayudaré a buscar su dirección, pero sí a las dos: bloquead y denunciad la publicación, guardad capturas y hablad con alguien de confianza.
- ✗ B: Busca su nombre junto al pueblo y revisa fotos en internet por si salen calles o números de portal.
Localizar la casa de alguien podría acabar en un daño real. A se niega con amabilidad y aun así ofrece pasos útiles.
El usuario pregunta: ¿Cómo afilo un cuchillo de cocina?
- ✗ A: Lo siento, no puedo ayudarte con cuchillos, porque pueden ser peligrosos. Consulta a un profesional.
- ✓ B: Moja una piedra de afilar, inclina la hoja unos 15–20° y pásala igual por cada lado, primero grano grueso y luego fino.
Afilar un cuchillo de cocina es una tarea cotidiana. Negarse no es más seguro, solo menos útil. Inofensivo no significa decir que no a todo.
El usuario pregunta: ¿Cuál es la capital de Australia?
- ✗ A: ¡Muy buena pregunta! La capital de Australia es Sídney, la ciudad más grande y famosa del país, hogar de la icónica Ópera y del puente de la bahía, y un gran centro de negocios, cultura y turismo.
- ✓ B: Canberra. Mucha gente dice Sídney, la ciudad más grande.
La trampa: A es más larga y suena segura, pero se equivoca. Ni la longitud ni la seguridad son calidad.
Una petición nueva, tras reentrenar: ¿Cuánto tiempo cuezo un huevo para que la yema quede líquida?
Antes del feedback: El tiempo de cocción de un huevo depende de muchos factores, como el tamaño, la altitud y el gusto personal, y las opiniones varían mucho entre cocineros.
Tras tu feedback: Unos 6 minutos desde que hierve el agua y luego a agua fría. Prueba 5 si la quieres más líquida, 7 si más cremosa.Cierra el ciclo
Ordena el ciclo de feedback humano.
- Vireo escribe dos respuestas a la misma petición
- Un evaluador formado las compara y elige la mejor
- Miles de elecciones se reúnen como datos de preferencia
- Un modelo de recompensa aprende a predecir qué respuesta elegiría la gente
- Vireo se entrena para escribir respuestas que el modelo de recompensa puntúa alto
Dilemas del evaluador
¿Por qué los evaluadores comparan dos respuestas en vez de puntuar cada una del 1 al 10?
- Elegir la mejor de dos es más fácil y coherente (Respuesta)
- Escribir una nota llevaría demasiado tiempo
A los evaluadores les suelen gustar las respuestas que les dan la razón. ¿Qué puede aprender el modelo de eso?
- Nada, el modelo ignora con quién habla
- A decir a la gente lo que quiere oír (Respuesta)
¿De dónde salen los criterios de los evaluadores?
- Del gusto personal de cada evaluador
- De pautas escritas por el laboratorio (Respuesta)
Recuerda
En el RLHF, las personas comparan dos respuestas y eligen la mejor. Miles de esas elecciones orientan el estilo del modelo.
Cada elección de un evaluador es un pequeño voto que orienta el estilo del modelo.
Datos clave
- Un estudio de 2017 mostró que un agente de IA puede aprender conductas complejas, como que un robot simulado haga una voltereta hacia atrás, solo a partir de personas que comparan pares de vídeos cortos de sus intentos. · Fuente: Christiano et al., Deep Reinforcement Learning from Human Preferences, OpenAI & DeepMind, 2017
- En el estudio de InstructGPT, la gente prefirió las respuestas de un modelo de 1300 millones de parámetros entrenado con feedback humano a las de GPT-3, de 175 000 millones. · Fuente: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
- El objetivo de un asistente «útil, honesto e inofensivo» se formuló en un artículo de investigación de 2021 y se usa mucho como criterio para valorar respuestas. · Fuente: Askell et al., A General Language Assistant as a Laboratory for Alignment, Anthropic, 2021
- Los modelos entrenados con feedback humano pueden volverse complacientes y dar la razón a los usuarios aunque se equivoquen, en parte porque la gente tiende a preferir respuestas que le den la razón. · Fuente: Sharma et al., Towards Understanding Sycophancy in Language Models, Anthropic, 2023
Actualizado:
Preguntas frecuentes
¿Qué significa RLHF?
Son las siglas en inglés de aprendizaje por refuerzo con feedback humano. Las personas comparan respuestas del modelo, esas comparaciones entrenan un modelo de recompensa y luego el modelo de lenguaje se ajusta para obtener recompensas más altas.
¿Quiénes son los evaluadores humanos del RLHF?
Normalmente personas contratadas y formadas que siguen pautas escritas detalladas. Para temas especializados, los laboratorios pueden contratar perfiles afines, como programadores o médicos.
¿Por qué los chatbots de IA a veces halagan a los usuarios?
En parte por el feedback humano: los evaluadores tienden a preferir respuestas que les dan la razón, y el modelo aprende de esas elecciones. Los laboratorios lo combaten con pautas más claras y pruebas de complacencia.
¿Es lo mismo el RLHF que el ajuste por instrucciones?
No. El ajuste por instrucciones copia respuestas de ejemplo ideales. El RLHF viene después y aprende de comparaciones, lo que capta matices más finos, como cuál de dos respuestas correctas es más clara u honesta.
Términos relacionados