Como os LLMs são feitos / Glossário

Red teaming

Red teaming é atacar de propósito o seu próprio sistema de IA antes do lançamento, tentando fazê-lo se comportar mal para que os pontos fracos sejam encontrados e corrigidos antes que usuários reais os encontrem.

O nome vem de exercícios militares e de segurança, em que um time vermelho faz o papel do atacante. Quem faz red teaming em IA escreve prompts traiçoeiros: truques de role-play, pedidos nocivos divididos em pedaços que parecem inofensivos ou instruções escondidas em documentos que o modelo lê.

Cada ponto fraco é classificado pela probabilidade e pelo dano, depois corrigido com treino ou filtros e testado de novo. Modelos de linguagem também podem fazer red teaming uns com os outros: um modelo gera prompts de teste que encontram falhas em outro.

Red teaming está virando obrigação, não só boa prática: pelo AI Act da União Europeia, fornecedores dos modelos de IA de uso geral mais capazes precisam fazer e documentar testes adversariais.