Cómo se crean los LLM / Glosario

Alineamiento de la IA

El alineamiento de la IA es el trabajo de lograr que el comportamiento de un sistema de IA encaje con lo que las personas pretenden y valoran: útil en las peticiones cotidianas, honesto sobre lo que sabe y cuidadoso para evitar daños.

Un modelo preentrenado copia patrones de internet, los buenos y los malos. El entrenamiento de alineamiento añade normas escritas sobre cómo debe comportarse el modelo y lo entrena con ejemplos y valoraciones que las siguen, con métodos como el ajuste fino y RLHF.

Lo difícil es el equilibrio. Un modelo que rechaza demasiado poco puede ayudar a causar daño, y uno que rechaza demasiado se vuelve inútil: los investigadores crearon pruebas para pillar a modelos que rechazan preguntas inofensivas. Algunos equipos entrenan modelos de recompensa separados para la utilidad y para la seguridad, porque ambas pueden tirar en direcciones distintas.

Otros enfoques hacen que un modelo critique y corrija sus propias respuestas según una lista escrita de principios. El alineamiento nunca está terminado; el red teaming y la vigilancia tras el lanzamiento siguen encontrando huecos nuevos que corregir.