Jak powstają modele językowe / Słowniczek

Red teaming

Red teaming to celowe atakowanie własnego systemu AI przed premierą, by zmusić go do złego zachowania i znaleźć oraz naprawić jego słabe punkty, zanim trafią na nie prawdziwi użytkownicy.

Nazwa pochodzi z ćwiczeń wojskowych i bezpieczeństwa, w których czerwona drużyna gra atakującego. Red teamerzy AI piszą podchwytliwe prompty: sztuczki z odgrywaniem ról, szkodliwe prośby pocięte na niewinnie wyglądające kawałki albo polecenia ukryte w dokumentach, które czyta model.

Każdy słaby punkt ocenia się według tego, jak jest prawdopodobny i jak szkodliwy, potem naprawia treningiem albo filtrami i testuje ponownie. Modele językowe mogą też robić red teaming sobie nawzajem: jeden generuje testowe prompty, które znajdują błędy w drugim.

Red teaming staje się obowiązkiem, a nie tylko dobrą praktyką: zgodnie z unijnym AI Act dostawcy najbardziej zaawansowanych modeli AI ogólnego przeznaczenia muszą przeprowadzać i dokumentować testy kontradyktoryjne.