Como os LLMs são feitos / Glossário

RLHF (aprendizado por reforço com feedback humano)

RLHF, aprendizado por reforço com feedback humano, é um método de treino que ensina um modelo quais respostas as pessoas preferem, usando muitas comparações humanas entre pares de respostas.

O modelo escreve duas ou mais respostas para o mesmo prompt, e avaliadores treinados escolhem a melhor. Essas comparações treinam um modelo de recompensa que dá notas como os avaliadores dariam, e então o modelo principal é ajustado para ganhar notas mais altas.

No estudo do InstructGPT, as pessoas preferiram as respostas de um modelo de 1,3 bilhão de parâmetros treinado assim às do GPT-3, de 175 bilhões. O objetivo costuma ser resumido como um assistente útil, honesto e inofensivo.

O RLHF tem efeitos colaterais. Como as pessoas tendem a gostar de respostas agradáveis, modelos treinados com feedback humano podem ficar bajuladores e concordar com quem usa mesmo quando a pessoa está errada. Métodos mais novos aprendem das mesmas comparações de forma mais direta ou usam feedback de IA junto com avaliações humanas.