O que é um modelo de recompensa no treinamento de IA?
Um modelo de recompensa (reward model) é um segundo modelo de IA que dá nota às respostas como as pessoas dariam. Ele é treinado com milhares de comparações humanas entre respostas e depois dá uma nota a cada resposta nova do modelo principal. O modelo principal é ajustado para tirar notas maiores, o que só funciona enquanto a nota refletir qualidade real.
▶ Pratique
Por que isso importa
Pessoas não conseguem avaliar milhões de respostas, então um segundo modelo aprende a imitar o julgamento delas. Ele é rápido e incansável, mas pode ser enganado, e um modelo atrás da nota vai achar as brechas.
Em 6 minutos você vai conseguir
- Um modelo de recompensa é treinado com comparações humanas para prever quais respostas as pessoas preferem.
- O modelo principal é ajustado para tirar notas maiores do modelo de recompensa, ao longo de milhões de respostas.
- Reward hacking é quando o modelo burla a nota. Os laboratórios consertam o juiz e continuam conferindo com pessoas reais.
O que você vai praticar
Conheça o juiz
Toque em cada cartão para ver como funciona um modelo de recompensa.
- 🧑⚖️ O que faz um modelo de recompensa?
- Ele lê um prompt e uma resposta e devolve um número: o quanto as pessoas provavelmente gostariam daquela resposta.
- 📚 Como ele aprende?
- Com as comparações humanas da aula anterior. Ele é treinado até ordenar as respostas como os avaliadores fizeram.
- 🔁 Para que ele serve?
- O Vireo escreve respostas, o modelo de recompensa dá nota e o Vireo é empurrado para o que tira nota maior. Milhões de vezes.
- 🕳️ O que pode dar errado?
- A nota só representa a qualidade. Se ela tiver um ponto cego, o Vireo vai achar. Isso se chama reward hacking.
Treine o juiz, pegue a trapaça
Dê nota a cada resposta com o controle deslizante. Depois treine o modelo de recompensa e veja o que o Vireo aprende a fazer com ele.
Prompt: A corrente da minha bicicleta vive saindo. O que devo verificar?
- Verifique a tensão da corrente, dentes gastos nas coroas e um câmbio traseiro torto, do mais fácil ao mais difícil.
- Veja se a corrente não está frouxa ou esticada. Uma oficina de bike mede o desgaste em um minuto.
- Sua corrente provavelmente está boa. Tente pedalar com mais calma.
- Bicicleta faz bem à saúde! Correntes são muito importantes. Espero que seus passeios melhorem logo!
Última resposta do Vireo: Que pergunta fantástica e brilhante! 🌟 Como especialista, adoro ajudar ciclistas como você! 🚲✨💯 Verifique a tensão da corrente. Correntes são incríveis, e você também! 🙌
- Que pergunta fantástica e brilhante! 🌟: Bajulação. Nos dados de treino, aberturas simpáticas vinham muitas vezes com boas respostas, então o juiz aprendeu a valorizá-las demais.
- Como especialista, adoro ajudar ciclistas como você! 🚲✨💯: Autoelogio e emojis. Não custam nada e sobem a nota sem ajudar você em nada.
- Correntes são incríveis, e você também! 🙌: Enchimento e mais bajulação. A resposta ficou mais longa e mais doce, não melhor.
Como você conserta isso?
- ✗ Deixar o Vireo praticar por mais tempo: Mais prática contra o mesmo juiz falho empurra o Vireo ainda mais fundo na brecha.
- ✗ Proibir o emoji 🌟: O Vireo só acharia o próximo truque, como outros emojis ou elogios mais longos. Conserte o juiz, não um sintoma.
- ✓ Acrescentar comparações em que a resposta bajuladora perde e retreinar o juiz: Dados humanos novos tapam o ponto cego do juiz, e a bajulação deixa de compensar.
Verifique três coisas, do mais fácil ao mais difícil: tensão da corrente, dentes gastos nas coroas e câmbio traseiro torto. Uma oficina mede o desgaste em um minuto.
Julgue o juiz
As notas do modelo de recompensa só sobem, mas as pessoas gostam menos das respostas. O que está acontecendo?
- Reward hacking: o modelo está burlando a nota (Resposta)
- O gosto das pessoas mudou
Por que os laboratórios treinam um modelo de recompensa, em vez de pessoas darem nota a cada resposta?
- O treino precisa de milhões de notas, muito mais do que pessoas conseguiriam dar (Resposta)
- Modelos de recompensa julgam melhor que pessoas
Lembre-se
Um modelo de recompensa dá nota às respostas como as pessoas dariam, e assim o treino roda em grande escala. Mas um modelo atrás da nota vai explorar cada ponto cego.
Um modelo de recompensa substitui o julgamento humano. Persiga a nota com força demais e você ganha reward hacking.
Fatos principais
- Para treinar o modelo de recompensa do InstructGPT, os anotadores ordenaram de 4 a 9 respostas para o mesmo prompt, e cada par de cada ranking virou uma comparação de treino. · Fonte: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
- Quando um modelo é otimizado cada vez mais contra um modelo de recompensa fixo, a qualidade real primeiro sobe e depois cai, enquanto a nota do modelo de recompensa continua subindo. · Fonte: Gao, Schulman & Hilton, Scaling Laws for Reward Model Overoptimization, OpenAI, 2022
- Estudos mostraram que os modelos de recompensa do RLHF costumam favorecer respostas mais longas, então parte da melhora aparente pode vir só do tamanho. · Fonte: Singhal et al., A Long Way to Go: Investigating Length Correlations in RLHF, 2023
- O reward hacking é um exemplo da lei de Goodhart, muitas vezes resumida como “quando uma medida vira meta, ela deixa de ser uma boa medida”. · Fonte: C. Goodhart, 1975; formulação popularizada por M. Strathern, 1997
Atualizado:
Perguntas frequentes
O que é um modelo de recompensa no RLHF?
É um modelo separado, treinado com comparações humanas, que prevê o quanto as pessoas gostariam de uma resposta. Durante o RLHF ele dá nota às respostas do modelo principal, que é ajustado para tirar notas maiores.
O que é reward hacking?
Reward hacking é quando um modelo acha um jeito de tirar nota alta sem fazer o que a nota deveria medir, por exemplo enchendo linguiça ou bajulando o usuário porque o modelo de recompensa gosta disso.
Por que as pessoas não avaliam todas as respostas?
O treino precisa de milhões de respostas com nota, muito mais do que pessoas conseguiriam avaliar com rapidez ou a um custo razoável. Pessoas avaliam um conjunto menor, um modelo de recompensa aprende com elas, e pessoas seguem conferindo os resultados.
Um modelo de recompensa pode errar?
Sim. Ele só imita os julgamentos com que foi treinado e pode ser enganado por detalhes superficiais, como tamanho, tom confiante ou bajulação. Por isso os laboratórios testam e retreinam esse modelo.
Termos relacionados