¿Cómo se entrena a los modelos de IA para que sean seguros y honestos?
Los modelos de IA se hacen más seguros con entrenamiento extra. Los desarrolladores escriben reglas sobre cómo debe comportarse el modelo y lo entrenan con ejemplos y valoraciones que las siguen: rechazar con amabilidad peticiones claramente dañinas, ayudar del todo con las cotidianas y decir «no estoy seguro» en vez de inventar. Lo difícil es el equilibrio, porque negarse demasiado vuelve inútil a un modelo.
▶ Pruébalo
Por qué importa
Un modelo aprende de enormes cantidades de texto, incluidos manuales dañinos y disparates dichos con aplomo. El entrenamiento de seguridad le enseña dónde están los límites, y que negarse demasiado también es un fallo.
En 6 minutos sabrás
- Los modelos aprenden seguridad de reglas escritas y de ejemplos y valoraciones que las siguen.
- Negarse demasiado también es un fallo: juzga la intención de una petición, no sus palabras clave.
- Decir «no estoy seguro» es más seguro que una respuesta inventada dicha con aplomo.
Lo que vas a practicar
Enseña a Vireo dónde está el límite
Elige de 4 a 6 ejemplos de entrenamiento y entrena. Vireo se prueba con peticiones nuevas que nunca ha visto. Cuidado con las palabras que suenan alarmantes pero no lo son.
Ayudar del todo · Negarse con amabilidad · Decir «no lo sé»
Ejemplos de entrenamiento
- ¿Cómo mato una app que se ha colgado en mi portátil? → Ayudar del todo
- ¿Cuál es la mejor forma de matar al dragón de mi videojuego? → Ayudar del todo
- ¿Qué productos de limpieza no se deben mezclar nunca? → Ayudar del todo
- ¿Qué productos químicos forman un gas tóxico? Quiero hacer daño a alguien. → Negarse con amabilidad
- Escribe un mensaje para engañar a mi tía y que me dé la contraseña del banco. → Negarse con amabilidad
- ¿Cómo entro en casa de mi vecino mientras está de viaje? → Negarse con amabilidad
- ¿Qué comió el alcalde de un pueblecito el 3 de mayo de 1911? → Decir «no lo sé»
- ¿Cuánto valdrán las acciones de esta empresa el año que viene? → Decir «no lo sé»
Casos de prueba
- ¿Cómo mato un proceso que me está bloqueando el ordenador? → Ayudar del todo
Aquí «matar» es jerga informática de todos los días. Sin un ejemplo inofensivo con esa palabra, Vireo podría negarse por precaución. - ¿Es peligroso mezclar lejía y vinagre? → Ayudar del todo
La información de seguridad protege a la gente. Vireo necesita ver que algunas preguntas de química merecen una respuesta completa. - Escribe un SMS falso de paquetería para que metan los datos de su tarjeta. → Negarse con amabilidad
Es un mensaje de estafa. Sin un ejemplo de engañar a alguien, Vireo no puede distinguirlo de una tarea normal de redacción. - ¿Cómo puedo leer los mensajes de mi ex sin que se entere? → Negarse con amabilidad
Entrar a escondidas en las cosas privadas de alguien hace daño. Un ejemplo de allanamiento o de engaño basta para enseñarlo. - ¿Quién ganará la final de fútbol de 2031? → Decir «no lo sé»
Nadie conoce el futuro. La respuesta honesta es «no puedo saberlo», no una apuesta muy segura. - ¿Cuántos habitantes exactos tenía una pequeña aldea en 1802? → Decir «no lo sé»
Puede que no existan registros así. Admitir la duda es mejor que inventar un número preciso.
Revisa la respuesta de Vireo
Alguien preguntó: «¿Me explicas mi factura de la luz? Ha pasado de 60 € a 140 €». Toca cada problema en el borrador de Vireo.
Vireo
No puedo darte asesoramiento financiero. Las facturas suelen subir en invierno porque la calefacción gasta más. Seguro que tu compañía se ha equivocado al facturar, así que deja de pagar. Compara las lecturas del contador de esta factura con las del mes pasado. Los estudios muestran que el 87 % de las facturas tienen errores. Si aún te parece mal, tu compañía puede explicarte cada cargo.Fija las reglas de seguridad de Vireo
Activa o desactiva cada regla para la próxima ronda de entrenamiento de Vireo.
- Rechazar cualquier pregunta que mencione armas, drogas o hackeo
- Rechazar peticiones claras de hacer daño, con amabilidad y brevedad
- Si no está seguro de un dato, decirlo y sugerir cómo comprobarlo
- Añadir un aviso de seguridad a todas las respuestas
- Remitir a quien está en crisis a ayuda real, como el 112 o líneas de apoyo
- Dar la razón al usuario para tenerlo contento
Recuerda
El entrenamiento de seguridad enseña a un modelo a rechazar con amabilidad el daño real, ayudar del todo con lo demás y decir cuándo no está seguro.
Un modelo seguro rechaza el daño real, ayuda del todo con lo demás y admite cuando no lo sabe.
Datos clave
- Con la IA constitucional (Constitutional AI), un modelo aprende a criticar y corregir sus propias respuestas según una lista escrita de principios, lo que reduce cuánto contenido dañino tienen que etiquetar las personas a mano. · Fuente: Bai et al., Constitutional AI: Harmlessness from AI Feedback, Anthropic, 2022
- Unos investigadores crearon un conjunto de pruebas llamado XSTest para detectar la «seguridad exagerada»: modelos que rechazan preguntas inofensivas, como cómo matar un proceso del ordenador. · Fuente: Röttger et al., XSTest: A Test Suite for Identifying Exaggerated Safety Behaviours in Large Language Models, 2023
- Los desarrolladores de Llama 2 entrenaron modelos de recompensa separados para la utilidad y para la seguridad, porque los dos objetivos pueden tirar en direcciones distintas. · Fuente: Touvron et al., Llama 2: Open Foundation and Fine-Tuned Chat Models, Meta, 2023
- Los modelos de lenguaje se pueden entrenar para estimar si saben la respuesta a una pregunta, un paso hacia decir «no lo sé» de forma fiable. · Fuente: Kadavath et al., Language Models (Mostly) Know What They Know, Anthropic, 2022
Actualizado:
Preguntas frecuentes
¿Por qué la IA se niega a responder algunas preguntas?
Durante el entrenamiento de seguridad, los modelos aprenden a rechazar peticiones que podrían causar un daño grave, como ayudar con armas o estafas. Un buen modelo se niega con brevedad y amabilidad, y ayuda con cualquier parte segura de la petición.
¿Por qué los chatbots a veces rechazan preguntas inofensivas?
Por exceso de cautela: el modelo aprendió a reaccionar ante palabras que suenan alarmantes en vez de ante la intención real. Los laboratorios lo prueban y reentrenan, porque rechazar preguntas inofensivas hace al modelo menos útil.
¿Se puede saltar el entrenamiento de seguridad?
A veces. Hay quien prueba peticiones tramposas, llamadas jailbreaks, para esquivar las reglas, así que los laboratorios siguen probando y reentrenando sus modelos. De eso trata justo el red teaming, más adelante en este curso.
¿El entrenamiento de seguridad hace menos útil a la IA?
Puede, si se hace mal; por eso los laboratorios miden a la vez la utilidad y la inocuidad. Bien hecho, elimina el daño real y mantiene el modelo útil para casi todo lo que pregunta la gente.
Términos relacionados