Comment sont créés les LLM / Glossaire

Red teaming

Le red teaming consiste à attaquer volontairement son propre système d'IA avant sa sortie, en essayant de le faire dérailler, pour trouver et corriger ses points faibles avant que de vrais utilisateurs ne tombent dessus.

Le nom vient des exercices militaires et de sécurité, où une équipe rouge joue l'attaquant. Les red teamers en IA écrivent des prompts piégés : jeux de rôle, demandes nuisibles découpées en morceaux d'apparence anodine, ou instructions cachées dans des documents que le modèle lit.

Chaque point faible est évalué selon sa probabilité et sa gravité, puis corrigé par l'entraînement ou des filtres et testé à nouveau. Les modèles de langage peuvent aussi faire du red teaming entre eux : un modèle génère des prompts de test qui trouvent les failles d'un autre.

Le red teaming devient une obligation, pas seulement une bonne pratique : selon le règlement européen sur l'IA, les fournisseurs des modèles d'IA à usage général les plus puissants doivent réaliser et documenter des tests adverses.