¿Cómo se cuelan los sesgos en la IA?
Un sesgo de la IA aparece cuando un sistema da resultados peores o injustos para algunos grupos. Suele venir de los datos de entrenamiento: faltan grupos o hay pocos, las decisiones pasadas ya eran injustas o las etiquetas reflejan prejuicios. El modelo aprende esos patrones como si fueran reglas. Datos diversos, pruebas por grupo y revisión humana lo reducen.
▶ Pruébalo
Por qué importa
Un modelo no tiene opiniones, pero copia lo que muestran sus datos. Si faltan personas en los ejemplos, la IA funciona peor para ellas, sin que nadie lo quiera.
En 6 minutos sabrás
- Los sesgos de la IA suelen venir de datos de entrenamiento incompletos, desequilibrados o injustos.
- Un sistema puede tener sesgos aunque nunca vea un dato sensible.
- Mide los resultados por grupo y mantén una revisión humana en las decisiones importantes.
Lo que vas a practicar
Entrena el sensor de manos
Casi todas las fotos muestran el mismo tipo de mano. Elige hasta 5 fotos de entrenamiento, pulsa Entrenar y mira a quién reconoce el sensor.
Mano · Sin mano
Ejemplos de entrenamiento
- Mano adulta de piel clara, palma arriba → Mano
- Mano de piel clara, dedos abiertos → Mano
- Mano de piel clara, de perfil → Mano
- Otra mano de piel clara, saludando → Mano
- Mano adulta de piel oscura → Mano
- La mano pequeña de un niño → Mano
- Mano con guante de trabajo → Mano
- Lavabo vacío → Sin mano
- Una esponja bajo el grifo → Sin mano
- Una taza bajo el grifo → Sin mano
Casos de prueba
- Una mano de piel oscura → Mano
En el entrenamiento solo había manos de piel clara, así que el sensor aprendió que «mano» es piel clara. Nadie lo quiso: lo hicieron los datos. - La mano de un niño → Mano
No había niños en el entrenamiento, así que no reconoció manos pequeñas. Los grupos que faltan son los grupos a los que la IA falla. - Una mano con guante → Mano
Las manos con guante se ven distintas. Entre los usuarios reales hay personal de limpieza y enfermería que lleva guantes todo el día. - Una mano de piel clara → Mano
Sin ningún ejemplo de piel clara, el sensor tampoco tenía referencia para esta mano. - Un plato en el fregadero → Sin mano
El modelo nunca vio un objeto que no fuera una mano, así que no supo distinguirlo y abrió el grifo.
Cómo entran los sesgos
Toca cada tarjeta para ver cómo ocurre.
- 🕳️ Personas que faltan
- Algunos grupos son raros o no están en los datos, así que el modelo funciona peor para ellos. Como el grifo que no veía algunas manos.
- 📜 Un pasado injusto
- Si las decisiones del pasado fueron injustas, un modelo entrenado con ellas aprende a repetirlas, y puede hacerlas parecer objetivas.
- 🏷️ Etiquetas sesgadas
- Las etiquetas las ponen personas. Si quienes etiquetan comparten un prejuicio, el modelo lo aprende como un hecho.
- 📮 Pistas escondidas
- Aunque no pregunte por un grupo, un modelo puede captar pistas que van unidas a él, como el código postal o una afición.
Rastrea el sesgo
Una empresa entrena una IA que filtra currículums con diez años de sus propias contrataciones, cuando contrataba sobre todo a hombres. ¿Cuál es el riesgo?
- Aprende a preferir currículums parecidos a los de antes (Respuesta)
- Ninguno, los ordenadores no pueden ser machistas
Un modelo nunca ve el origen étnico de nadie, pero usa el código postal. ¿Puede tener sesgos igualmente?
- Sí, el código postal puede sustituir a un grupo (Respuesta)
- No, si quitas el campo, quitas el sesgo
¿Qué reduce los sesgos?
Elige todo lo que ayuda.
- Preguntar quién falta en los datos de entrenamiento
- Medir los aciertos por separado para cada grupo
- Que las personas afectadas puedan pedir una revisión humana
- Contar con personas diversas al crear y probar
- Fiarte del resultado porque lo dio un ordenador
- Añadir más de los datos que ya tienes
Recuerda
La IA copia sus datos, huecos incluidos. Pregunta quién falta y prueba con todo el mundo.
Datos clave
- Un estudio de 2018 sobre tres sistemas comerciales de clasificación por género halló tasas de error de hasta el 34,7 % en mujeres de piel más oscura, frente a como mucho el 0,8 % en hombres de piel más clara. · Fuente: Buolamwini & Gebru, Gender Shades, Conference on Fairness, Accountability and Transparency, 2018
- Al probar casi 200 algoritmos de reconocimiento facial, la agencia de estándares de EE. UU. (NIST) halló que las tasas de falsos positivos a menudo variaban entre 10 y 100 veces entre grupos demográficos, según el algoritmo. · Fuente: NIST, Face Recognition Vendor Test Part 3: Demographic Effects (NISTIR 8280), 2019
- El Reglamento de IA de la UE considera de alto riesgo la IA usada para contratar o seleccionar candidatos, lo que conlleva requisitos como controles de calidad de los datos y supervisión humana. · Fuente: Reglamento (UE) 2024/1689 de Inteligencia Artificial, anexo III
- Un sistema de IA puede parecer preciso en conjunto y fallar mucho a un grupo pequeño, porque una media alta puede esconder malos resultados para quienes son escasos en los datos.
Actualizado:
Preguntas frecuentes
¿Qué es un ejemplo de sesgo en la IA?
Sistemas de análisis facial que se equivocan mucho más con mujeres de piel oscura que con hombres de piel clara, o una herramienta de selección entrenada con contrataciones pasadas que puntúa peor a quien no se parece a la plantilla anterior.
¿Puede tener sesgos la IA si solo son matemáticas?
Sí. Las matemáticas aprenden de datos, y los datos reflejan el mundo y las decisiones humanas del pasado. Si los ejemplos están desequilibrados o incompletos, los resultados también.
¿Cómo se pueden reducir los sesgos de la IA?
Con datos diversos y representativos, midiendo los resultados por separado para cada grupo, implicando a las personas afectadas, documentando los límites y manteniendo una revisión humana en las decisiones importantes.
¿Qué es el sesgo algorítmico?
El sesgo algorítmico significa que un sistema automatizado produce resultados sistemáticamente injustos para ciertas personas o grupos. Hoy, el sesgo de la IA es su forma más común.
Términos relacionados