Come nascono gli LLM / Glossario

Red teaming

Il red teaming consiste nell’attaccare di proposito il proprio sistema di IA prima del rilascio, cercando di farlo comportare male, così i suoi punti deboli si trovano e si correggono prima che li incontrino gli utenti veri.

Il nome viene dalle esercitazioni militari e di sicurezza, dove una squadra rossa fa la parte dell’attaccante. Chi fa red teaming sull’IA scrive prompt insidiosi: trucchi con giochi di ruolo, richieste dannose divise in pezzi dall’aria innocua o istruzioni nascoste nei documenti che il modello legge.

Ogni punto debole viene valutato per probabilità e gravità, poi corretto con addestramento o filtri e testato di nuovo. Anche i modelli linguistici possono fare red teaming l’uno sull’altro: un modello genera prompt di prova che trovano i difetti di un altro.

Il red teaming sta diventando un obbligo, non solo una buona pratica: con il regolamento europeo sull’IA, chi fornisce i modelli di IA per finalità generali più potenti deve svolgere e documentare test avversari.