Przejdź do treści
PL

Lekcja 6 z 8 · 6 min · +100 XP

Skąd bierze się stronniczość AI?

Stronniczość AI to sytuacja, gdy system AI daje gorsze lub niesprawiedliwe wyniki dla niektórych grup ludzi. Zwykle wynika z danych treningowych: części grup brakuje albo są rzadkie, dawne decyzje były już niesprawiedliwe lub etykiety odzwierciedlają ludzkie założenia. Model uczy się tych wzorców jak reguł. Pomagają różnorodne dane, testy dla każdej grupy i kontrola człowieka.

▶ Wypróbuj

Dlaczego to ważne

Model nie ma poglądów, ale kopiuje to, co pokazują dane. Jeśli części ludzi brakuje w przykładach, AI działa dla nich gorzej, choć nikt tego nie chciał.

W 6 minut nauczysz się

  • Stronniczość AI zwykle bierze się z brakujących, skrzywionych lub niesprawiedliwych danych treningowych.
  • System może być stronniczy, nawet jeśli nigdy nie widzi wrażliwego pola.
  • Testuj wyniki dla każdej grupy i zostaw kontrolę człowieka przy ważnych decyzjach.

Co przećwiczysz

  1. Wytrenuj czujnik dłoni

    Większość zdjęć w stosie pokazuje ten sam rodzaj dłoni. Wybierz do 5 zdjęć, naciśnij Trenuj i zobacz, kogo czujnik rozpoznaje.

    Dłoń · Brak dłoni

    Przykłady treningowe
    • Dłoń dorosłego o jasnej skórze, wnętrzem do góry → Dłoń
    • Jasna dłoń z rozłożonymi palcami → Dłoń
    • Jasna dłoń widziana z boku → Dłoń
    • Kolejna jasna dłoń, macha → Dłoń
    • Dłoń dorosłego o ciemnej skórze → Dłoń
    • Mała dłoń dziecka → Dłoń
    • Dłoń w rękawicy roboczej → Dłoń
    • Pusty zlew → Brak dłoni
    • Gąbka pod kranem → Brak dłoni
    • Kubek pod kranem → Brak dłoni
    Przypadki testowe
    • Dłoń o ciemnej skórze → Dłoń
      W treningu były tylko jasne dłonie, więc czujnik nauczył się, że „dłoń” to jasna skóra. Nikt tego nie chciał, zrobiły to dane.
    • Dłoń dziecka → Dłoń
      W zbiorze nie było dzieci, więc małe dłonie nie zostały rozpoznane. Brakujące grupy stają się grupami, dla których AI zawodzi.
    • Dłoń w rękawiczce → Dłoń
      Dłonie w rękawiczkach wyglądają inaczej. Wśród użytkowników są sprzątający i pielęgniarki, którzy noszą je cały dzień.
    • Dłoń o jasnej skórze → Dłoń
      Bez żadnego przykładu jasnej dłoni czujnik nie miał punktu odniesienia także dla tej.
    • Talerz w zlewie → Brak dłoni
      Model nie widział przedmiotu, który nie jest dłonią, więc nie odróżnił go i włączył wodę.

  2. Jak wkrada się stronniczość

    Dotknij każdej karty, by zobaczyć, jak to się dzieje.

    🕳️ Brakujący ludzie
    Niektóre grupy są w danych rzadkie albo ich nie ma, więc model działa dla nich gorzej. Jak kran, który nie widział części dłoni.
    📜 Niesprawiedliwa historia
    Jeśli dawne decyzje były niesprawiedliwe, model wytrenowany na nich uczy się je powtarzać i może sprawiać, że wyglądają obiektywnie.
    🏷️ Stronnicze etykiety
    Etykiety nadają ludzie. Jeśli opisujący mają wspólne założenie, model uczy się go jak faktu.
    📮 Ukryte zastępniki
    Nawet bez pytania o grupę model może wyłapać wskazówki, które się z nią wiążą, np. kod pocztowy albo hobby.

  3. Prześledź stronniczość

    1. Firma trenuje AI do selekcji CV na dziesięciu latach własnych rekrutacji, gdy zatrudniała głównie mężczyzn. Jakie jest ryzyko?

      • Nauczy się preferować CV podobne do dawnych zatrudnionych (Odpowiedź)
      • Żadne, komputer nie może być seksistą

    2. Model nigdy nie widzi niczyjego pochodzenia, ale korzysta z kodów pocztowych. Czy nadal może być stronniczy?

      • Tak, kody pocztowe mogą zastępować przynależność do grupy (Odpowiedź)
      • Nie, usunięcie pola usuwa stronniczość

  4. Co ogranicza stronniczość?

    Wybierz wszystko, co pomaga.

    • Zapytać, kogo brakuje w danych treningowych
    • Mierzyć trafność osobno dla różnych grup
    • Pozwolić osobom, których dotyczą decyzje, prosić o kontrolę człowieka
    • Włączać różnorodnych ludzi w budowę i testy
    • Ufać wynikowi, bo wyliczył go komputer
    • Po prostu dodać więcej danych, które już masz

Zapamiętaj

AI kopiuje swoje dane, razem z lukami. Pytaj, kogo brakuje, i testuj dla wszystkich.

Najważniejsze fakty

  • Badanie z 2018 r. trzech komercyjnych systemów rozpoznawania płci wykazało błędy sięgające 34,7% u kobiet o ciemniejszej skórze, w porównaniu z najwyżej 0,8% u mężczyzn o jaśniejszej skórze. · Źródło: Buolamwini & Gebru, Gender Shades, Conference on Fairness, Accountability and Transparency, 2018
  • Testując prawie 200 algorytmów rozpoznawania twarzy, amerykański instytut NIST stwierdził, że odsetek fałszywych dopasowań często różnił się 10–100 razy między grupami demograficznymi, zależnie od algorytmu. · Źródło: NIST, Face Recognition Vendor Test Part 3: Demographic Effects (NISTIR 8280), 2019
  • Unijny akt w sprawie AI uznaje AI używaną do rekrutacji lub wyboru kandydatów do pracy za system wysokiego ryzyka, z wymogami takimi jak kontrola jakości danych i nadzór człowieka. · Źródło: Akt w sprawie AI, rozporządzenie (UE) 2024/1689, załącznik III
  • System AI może wyglądać na trafny ogólnie, a mocno zawodzić małą grupę, bo wysoka średnia może ukryć słabe wyniki dla osób rzadkich w danych.

Aktualizacja:

Częste pytania

Jaki jest przykład stronniczości AI?

Systemy analizy twarzy, które dużo częściej mylą się przy kobietach o ciemniejszej skórze niż przy mężczyznach o jaśniejszej, albo narzędzie rekrutacyjne wytrenowane na dawnych zatrudnieniach, które niżej ocenia kandydatów niepodobnych do wcześniejszych pracowników.

Czy AI może być stronnicza, skoro to tylko matematyka?

Tak. Matematyka uczy się z danych, a dane odzwierciedlają świat i dawne ludzkie decyzje. Jeśli przykłady są skrzywione lub niepełne, wyniki też takie będą.

Jak ograniczyć stronniczość AI?

Używać różnorodnych, reprezentatywnych danych, testować wyniki osobno dla różnych grup, włączać osoby, których to dotyczy, opisywać ograniczenia i zostawić kontrolę człowieka przy ważnych decyzjach.

Co to jest stronniczość algorytmiczna?

Stronniczość algorytmiczna oznacza, że zautomatyzowany system daje wyniki systematycznie niesprawiedliwe wobec niektórych osób lub grup. Stronniczość AI to dziś jej najczęstsza forma.

Powiązane pojęcia