Como os LLMs são feitos / Glossário

Modelo de recompensa

Um modelo de recompensa é um modelo de IA separado que dá notas às respostas como avaliadores humanos dariam. Ele é treinado com comparações humanas e depois usado para guiar um modelo de linguagem para respostas melhores.

Pessoas não conseguem avaliar milhões de respostas, então os julgamentos delas são engarrafados num modelo. Para treinar o modelo de recompensa do InstructGPT, os avaliadores ordenaram de 4 a 9 respostas ao mesmo prompt, e cada par de cada ordenação virou um exemplo de treino.

Depois de treinado, o modelo de recompensa dá uma nota a cada nova resposta que o modelo principal escreve, e o aprendizado por reforço empurra o modelo principal para notas altas.

A nota é só uma substituta da qualidade real. Pressionado demais, o modelo principal aprende a burlar a nota, o que se chama reward hacking: a nota continua subindo enquanto a qualidade real cai. Estudos também viram que modelos de recompensa costumam preferir respostas mais longas.