Cómo se crean los LLM / Glosario
Red teaming
El red teaming consiste en atacar a propósito tu propio sistema de IA antes de lanzarlo, intentando que se comporte mal para encontrar y corregir sus puntos débiles antes de que lleguen a los usuarios reales.
El nombre viene de los ejercicios militares y de seguridad, donde un equipo rojo hace de atacante. Quienes hacen red teaming de IA escriben prompts tramposos: trucos de juego de rol, peticiones dañinas troceadas en partes que parecen inofensivas o instrucciones escondidas en documentos que lee el modelo.
Cada punto débil se valora según lo probable y lo dañino que es, se corrige con entrenamiento o filtros y se vuelve a probar. Los modelos de lenguaje también pueden hacerse red teaming entre sí, con un modelo que genera prompts de prueba para encontrar fallos en otro.
El red teaming está pasando de buena práctica a obligación: con el Reglamento europeo de IA, los proveedores de los modelos de IA de uso general más capaces deben realizar y documentar pruebas adversarias.
Apréndelo en una lección de 6 minutosRed teamingExpertos intentan romper el modelo antes del lanzamiento