Kompetencje AI / Słowniczek

Stronniczość algorytmów

Stronniczość algorytmów to sytuacja, w której system AI albo inne zautomatyzowane narzędzie daje wyniki niesprawiedliwie lepsze lub gorsze dla niektórych grup ludzi, często przez skrzywione albo brakujące przykłady w danych.

AI uczy się z danych z przeszłości. Jeśli niektóre osoby są w nich słabo reprezentowane albo dane odzwierciedlają dawne niesprawiedliwe decyzje, model może nauczyć się tych wzorów i je powtarzać, np. działać gorzej dla niektórych odcieni skóry, akcentów albo imion.

Stronniczość może też wynikać z tego, jak ustawiono problem: co system ma przewidywać, jakich informacji używa i kto sprawdza wyniki. Zwykle nie jest zamierzona, dlatego trzeba ją testować.

Uczciwa AI potrzebuje różnorodnych danych, testów na różnych grupach i sprawdzania ważnych decyzji przez człowieka. W UE RODO daje ci też prawo, by zapytać, jak zapadła dotycząca cię ważna decyzja automatyczna.