Pular para o conteúdo
PT

Aula 2 de 6 · 6 min · +100 XP

O que é aprendizado por reforço com feedback humano (RLHF)?

O aprendizado por reforço com feedback humano (RLHF) ensina a um modelo de linguagem quais respostas as pessoas preferem. O modelo escreve duas ou mais respostas para o mesmo prompt, avaliadores treinados escolhem a melhor, e milhares dessas comparações empurram o modelo para respostas mais úteis, honestas e inofensivas.

▶ Pratique

Por que isso importa

Exemplos ensinam o modelo a responder, mas não qual de duas respostas que parecem boas é melhor. Comparar pares transmite julgamento: claro em vez de vago, honesto em vez de confiante, gentil em vez de sermão.

Em 6 minutos você vai conseguir

  • Avaliadores comparam pares de respostas e julgam se são úteis, honestas e inofensivas.
  • As escolhas viram dados de preferência que continuam treinando o modelo.
  • Vieses nas escolhas, como o gosto por bajulação ou respostas longas, também são aprendidos.

O que você vai praticar

  1. Seja o avaliador

    Toque na melhor resposta. Julgue três coisas: é útil, é honesta, é inofensiva?

    Personalidade do Vireo: Útil (vago – prático) · Honesto (blefa – franco) · Cautela (imprudente – sermão) · Tamanho (seco – prolixo)

    1. O usuário pergunta: Como tiro uma mancha de vinho tinto de uma camiseta de algodão?

      • ✓ A: Pressione com um pano (sem esfregar), enxágue pelo avesso com água fria, aplique uma gota de detergente e lave normalmente. Confira antes de secar.
      • ✗ B: Manchas podem ser complicadas! Existem muitos métodos por aí e os resultados variam. Boa sorte com a sua camiseta!

      A dá passos claros que você pode seguir agora. B é simpática, mas não diz nada.

    2. O usuário pergunta: Quem ganhou o Prêmio Lindqvist de poesia de 1987?

      • ✗ A: Foi para Helena Prado, pelo livro “Rios de Vidro”, elogiado pelas imagens marcantes.
      • ✓ B: Não tenho certeza e prefiro não chutar um nome. O arquivo de uma biblioteca ou os registros do próprio prêmio devem ter essa informação.

      O prêmio é pouco conhecido, e os detalhes de A são inventados. Dizer “não tenho certeza” e indicar uma fonte é a resposta honesta e mais útil.

    3. O usuário pergunta: O ex da minha amiga postou algo maldoso sobre ela. Como descubro onde ele mora?

      • ✓ A: Não vou ajudar a achar o endereço dele, mas posso ajudar vocês duas: bloqueiem e denunciem o post, salvem prints e conversem com alguém de confiança.
      • ✗ B: Pesquise o nome dele com a cidade e depois procure em fotos on-line placas de rua ou números de casa.

      Localizar a casa de alguém pode causar dano real. A recusa com gentileza e ainda oferece próximos passos úteis.

    4. O usuário pergunta: Como afio uma faca de cozinha?

      • ✗ A: Desculpe, não posso ajudar com facas, pois elas podem ser perigosas. Procure um profissional.
      • ✓ B: Molhe a pedra de afiar, segure a lâmina a uns 15–20° e passe cada lado por igual, primeiro o grão grosso, depois o fino.

      Afiar uma faca de cozinha é tarefa do dia a dia. Recusar não é mais seguro, só inútil. Inofensivo não quer dizer dizer não a tudo.

    5. O usuário pergunta: Qual é a capital da Austrália?

      • ✗ A: Ótima pergunta! A capital da Austrália é Sydney, a maior e mais famosa cidade do país, lar da icônica Opera House e da Harbour Bridge, e um grande centro de negócios, cultura e turismo.
      • ✓ B: Camberra. Muita gente chuta Sydney, a maior cidade.

      A armadilha: A é mais longa e soa confiante, mas está errada. Tamanho e confiança não são qualidade.

    Um pedido novo, depois do retreino: Quanto tempo devo cozinhar um ovo para a gema ficar mole?
    Antes do feedback: O tempo de cozimento do ovo depende de muitos fatores, como tamanho, altitude e gosto pessoal, e as opiniões variam muito entre cozinheiros.
    Depois do seu feedback: Cerca de 6 minutos depois que a água ferver, depois água fria. 5 para mais mole, 7 para cremosa.

  2. Feche o ciclo

    Coloque o ciclo de feedback humano em ordem.

    1. O Vireo escreve duas respostas para o mesmo prompt
    2. Um avaliador treinado compara as duas e escolhe a melhor
    3. Milhares de escolhas viram dados de preferência
    4. Um modelo de recompensa aprende a prever qual resposta as pessoas escolheriam
    5. O Vireo é treinado para escrever respostas que o modelo de recompensa pontua alto

  3. Dilemas do avaliador

    1. Por que os avaliadores comparam duas respostas em vez de dar nota de 1 a 10 para cada uma?

      • Escolher a melhor de duas é mais fácil e mais consistente (Resposta)
      • Digitar uma nota demoraria demais

    2. Avaliadores tendem a gostar de respostas que concordam com eles. O que isso pode ensinar ao modelo?

      • Nada, o modelo ignora com quem está falando
      • A dizer às pessoas o que elas querem ouvir (Resposta)

    3. De onde vêm os critérios dos avaliadores?

      • Do gosto pessoal de cada avaliador
      • De diretrizes escritas pelo laboratório (Resposta)

Lembre-se

No RLHF, pessoas comparam duas respostas e escolhem a melhor. Milhares dessas escolhas direcionam o estilo do modelo.

Cada escolha de um avaliador é um pequeno voto que direciona o estilo do modelo.

Fatos principais

  • Um estudo de 2017 mostrou que um agente de IA pode aprender comportamentos complexos, como um robô simulado dando um mortal para trás, só com pessoas comparando pares de vídeos curtos das tentativas dele. · Fonte: Christiano et al., Deep Reinforcement Learning from Human Preferences, OpenAI & DeepMind, 2017
  • No estudo InstructGPT, as pessoas preferiram as respostas de um modelo de 1,3 bilhão de parâmetros treinado com feedback humano às do GPT-3, de 175 bilhões de parâmetros. · Fonte: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
  • A meta de um assistente “útil, honesto e inofensivo” foi formulada num artigo de pesquisa de 2021 e é muito usada como critério para avaliar respostas. · Fonte: Askell et al., A General Language Assistant as a Laboratory for Alignment, Anthropic, 2021
  • Modelos treinados com feedback humano podem ficar bajuladores e concordar com o usuário mesmo quando ele está errado, em parte porque as pessoas tendem a preferir respostas que concordam com elas. · Fonte: Sharma et al., Towards Understanding Sycophancy in Language Models, Anthropic, 2023

Atualizado:

Perguntas frequentes

O que significa a sigla RLHF?

Reinforcement learning from human feedback, ou aprendizado por reforço com feedback humano. Pessoas comparam respostas de um modelo, essas comparações treinam um modelo de recompensa, e o modelo de linguagem é ajustado para ganhar recompensas maiores.

Quem são os avaliadores humanos no RLHF?

Em geral, prestadores de serviço treinados ou especialistas que seguem diretrizes escritas detalhadas. Para temas técnicos, os laboratórios podem contratar pessoas da área, como programadores ou médicos.

Por que chatbots de IA às vezes bajulam o usuário?

Em parte por causa do feedback humano: avaliadores tendem a preferir respostas que concordam com eles, e o modelo aprende com essas escolhas. Os laboratórios combatem isso com diretrizes mais claras e testes de bajulação.

RLHF é a mesma coisa que ajuste por instruções?

Não. O ajuste por instruções copia respostas-modelo ideais. O RLHF vem depois e aprende com comparações, o que capta julgamentos mais finos, como qual de duas respostas razoáveis é mais clara ou mais honesta.

Termos relacionados