Wie LLMs entstehen / Glossar

Red Teaming

Red Teaming heißt, das eigene KI-System vor dem Start gezielt anzugreifen und zu versuchen, es zu Fehlverhalten zu bringen, damit seine Schwachstellen gefunden und behoben werden, bevor echte Nutzer darauf stoßen.

Der Name stammt aus Militär- und Sicherheitsübungen, in denen ein rotes Team den Angreifer spielt. KI-Red-Teamer schreiben knifflige Prompts: Rollenspiel-Tricks, schädliche Anfragen, die in harmlos wirkende Stücke zerlegt sind, oder Anweisungen, die in Dokumenten versteckt sind, die das Modell liest.

Jede Schwachstelle wird danach bewertet, wie wahrscheinlich und wie schädlich sie ist, dann mit Training oder Filtern behoben und erneut getestet. Sprachmodelle können sich auch gegenseitig red-teamen: Ein Modell erzeugt Test-Prompts, die Fehler in einem anderen finden.

Red Teaming wird zur Pflicht, nicht nur zur guten Praxis: Nach der KI-Verordnung der EU müssen Anbieter der leistungsfähigsten KI-Modelle mit allgemeinem Verwendungszweck gegnerische Tests durchführen und dokumentieren.