Alfabetizzazione all’IA / Glossario

Bias algoritmico

Il bias algoritmico è quando un sistema di IA o un altro strumento automatico dà risultati ingiustamente migliori o peggiori per alcuni gruppi di persone, spesso per colpa di esempi sbilanciati o mancanti nei dati.

L’IA impara dai dati del passato. Se quei dati rappresentano poco alcune persone, o riflettono decisioni ingiuste del passato, il modello può imparare e ripetere quegli schemi, per esempio funzionando peggio con certi colori della pelle, accenti o nomi.

Il bias può nascere anche da come è impostato il problema: cosa deve prevedere il sistema, quali informazioni usa e chi controlla i risultati. Di solito non è voluto, ed è proprio per questo che va cercato con i test.

Un’IA equa ha bisogno di dati vari, di test su gruppi diversi e di una persona che riesamini le decisioni importanti. In molti Paesi, inoltre, le persone hanno il diritto di chiedere come è stata presa una decisione automatica che le riguarda.