Como os LLMs são feitos / Glossário

Alinhamento de IA

Alinhamento de IA é o trabalho de fazer o comportamento de um sistema de IA corresponder ao que as pessoas pretendem e valorizam: útil nos pedidos do dia a dia, honesto sobre o que sabe e cuidadoso para evitar danos.

Um modelo pré-treinado copia padrões da internet, os bons e os ruins. O treino de alinhamento acrescenta regras escritas sobre como o modelo deve se comportar e o treina com exemplos e avaliações que seguem essas regras, usando métodos como ajuste fino e RLHF.

A parte difícil é o equilíbrio. Um modelo que recusa pouco demais pode ajudar a causar danos, e um que recusa demais fica inútil: pesquisadores criaram conjuntos de teste para pegar modelos que recusam perguntas inofensivas. Algumas equipes treinam modelos de recompensa separados para utilidade e para segurança, porque as duas coisas podem puxar para lados diferentes.

Outras abordagens fazem o modelo criticar e revisar as próprias respostas com base numa lista escrita de princípios. O alinhamento nunca termina; o red teaming e o monitoramento depois do lançamento continuam encontrando novas falhas para corrigir.