Come entrano i pregiudizi nell’intelligenza artificiale?
Il bias dell’IA è quando un sistema di IA dà risultati peggiori o ingiusti per alcuni gruppi di persone. Di solito nasce dai dati di addestramento: alcuni gruppi mancano o sono rari, le decisioni passate erano già ingiuste o le etichette riflettono pregiudizi. Il modello impara quegli schemi come regole. Dati vari, test per gruppo e revisione umana lo riducono.
▶ Prova tu
Perché è importante
Un modello non ha opinioni, ma copia tutto ciò che mostrano i suoi dati. Se negli esempi mancano alcune persone, l’IA funziona peggio per loro, senza che nessuno lo voglia.
In 6 minuti saprai
- Il bias dell’IA di solito nasce da dati di addestramento mancanti, sbilanciati o ingiusti.
- Un sistema può essere distorto anche se non vede mai un dato sensibile.
- Misura i risultati per gruppo e tieni il riesame di una persona per le decisioni importanti.
Cosa eserciterai
Addestra il sensore per mani
Quasi tutte le foto del mucchio mostrano lo stesso tipo di mano. Scegli fino a 5 foto, premi Addestra e guarda chi riconosce il sensore.
Mano · Niente mano
Esempi di addestramento
- Mano adulta di pelle chiara, palmo in su → Mano
- Mano di pelle chiara, dita aperte → Mano
- Mano di pelle chiara, di lato → Mano
- Un’altra mano chiara che saluta → Mano
- Mano adulta di pelle scura → Mano
- La manina di un bambino → Mano
- Mano con un guanto da lavoro → Mano
- Lavandino vuoto → Niente mano
- Una spugna sotto il rubinetto → Niente mano
- Una tazza sotto il rubinetto → Niente mano
Casi di test
- Una mano di pelle scura → Mano
Nell’addestramento c’erano solo mani chiare, quindi il sensore ha imparato che «mano» vuol dire pelle chiara. Nessuno lo voleva: l’hanno fatto i dati. - La mano di un bambino → Mano
Nessun bambino tra gli esempi, quindi le mani piccole non sono state riconosciute. I gruppi che mancano diventano gruppi per cui l’IA sbaglia. - Una mano con il guanto → Mano
Le mani con i guanti sembrano diverse. Tra gli utenti veri ci sono addetti alle pulizie e infermieri che li portano tutto il giorno. - Una mano di pelle chiara → Mano
Senza esempi di mani chiare, il sensore non aveva un riferimento nemmeno per questa. - Un piatto nel lavandino → Niente mano
Il modello non ha mai visto un oggetto che non è una mano, quindi non ha saputo distinguerlo e ha aperto l’acqua.
Come entra il bias
Tocca ogni carta per vedere come succede.
- 🕳️ Persone che mancano
- Alcuni gruppi sono rari o assenti nei dati, quindi il modello funziona peggio per loro. Come il rubinetto che non vedeva certe mani.
- 📜 Una storia ingiusta
- Se le decisioni del passato erano ingiuste, un modello addestrato su di esse impara a ripeterle, e può farle sembrare oggettive.
- 🏷️ Etichette distorte
- Le etichette le mettono le persone. Se chi etichetta condivide un pregiudizio, il modello lo impara come un fatto.
- 📮 Indizi nascosti
- Anche senza chiedere di un gruppo, un modello può cogliere indizi collegati, come il CAP o un hobby.
Segui il bias
Un’azienda addestra un’IA che seleziona i CV su dieci anni delle sue assunzioni, quando assumeva quasi solo uomini. Qual è il rischio?
- Impara a preferire i CV simili a quelli degli assunti di prima (Risposta)
- Nessun rischio, i computer non possono essere sessisti
Un modello non vede mai l’origine delle persone, ma usa il CAP di casa. Può essere comunque distorto?
- Sì, il CAP può fare da indizio per un gruppo (Risposta)
- No, togliere il campo toglie il bias
Cosa riduce il bias?
Scegli tutto ciò che aiuta.
- Chiedersi chi manca nei dati di addestramento
- Misurare la precisione separatamente per gruppi diversi
- Permettere a chi subisce una decisione di chiedere il riesame di una persona
- Coinvolgere persone diverse nella costruzione e nei test
- Fidarsi del risultato perché l’ha prodotto un computer
- Aggiungere solo altri dati come quelli che hai già
Ricorda
L’IA copia i suoi dati, lacune comprese. Chiediti chi manca e fai test per tutti.
Dati chiave
- Uno studio del 2018 su tre sistemi commerciali che classificano il genere dai volti ha trovato tassi di errore fino al 34,7% per le donne di pelle scura, contro al massimo lo 0,8% per gli uomini di pelle chiara. · Fonte: Buolamwini & Gebru, Gender Shades, Conference on Fairness, Accountability and Transparency, 2018
- Provando quasi 200 algoritmi di riconoscimento facciale, l’agenzia statunitense NIST ha visto che i falsi positivi variavano spesso da 10 a 100 volte tra gruppi demografici, a seconda dell’algoritmo. · Fonte: NIST, Face Recognition Vendor Test Part 3: Demographic Effects (NISTIR 8280), 2019
- L’AI Act classifica ad alto rischio l’IA usata per assumere o selezionare candidati, con obblighi come controlli sulla qualità dei dati e supervisione umana. · Fonte: Regolamento (UE) 2024/1689 sull’intelligenza artificiale, allegato III
- Un sistema di IA può sembrare preciso nel complesso e sbagliare molto con un piccolo gruppo, perché una media alta può nascondere risultati scarsi per le persone rare nei dati.
Aggiornato:
Domande frequenti
Qual è un esempio di bias nell’intelligenza artificiale?
Sistemi di analisi dei volti che sbagliano molto più spesso con le donne di pelle scura che con gli uomini di pelle chiara, o uno strumento di selezione addestrato sulle assunzioni passate che penalizza chi non somiglia al personale di prima.
L’IA può avere pregiudizi se è solo matematica?
Sì. La matematica impara dai dati, e i dati riflettono il mondo e le decisioni umane del passato. Se gli esempi sono sbilanciati o incompleti, lo saranno anche i risultati.
Come si riduce il bias dell’IA?
Con dati vari e rappresentativi, test separati per gruppi diversi, il coinvolgimento delle persone interessate, limiti documentati e il riesame di una persona per le decisioni importanti.
Cos’è il bias algoritmico?
Il bias algoritmico è quando un sistema automatico produce risultati sistematicamente ingiusti per certe persone o gruppi. Il bias dell’IA ne è oggi la forma più comune.
Termini correlati