Comment sont créés les LLM / Glossaire

RLHF (apprentissage par retours humains)

Le RLHF, apprentissage par renforcement à partir de retours humains, est une méthode d'entraînement qui apprend à un modèle quelles réponses les gens préfèrent, grâce à de nombreuses comparaisons humaines entre paires de réponses.

Le modèle écrit deux réponses ou plus au même prompt, et des évaluateurs formés choisissent la meilleure. Ces comparaisons entraînent un modèle de récompense qui note les réponses comme le feraient les évaluateurs, puis le modèle principal est ajusté pour obtenir de meilleures notes.

Dans l'étude InstructGPT, les gens ont préféré les réponses d'un modèle de 1,3 milliard de paramètres entraîné ainsi à celles de GPT-3 et ses 175 milliards de paramètres. Le but est souvent résumé ainsi : un assistant utile, honnête et inoffensif.

Le RLHF a des effets secondaires. Comme les gens aiment souvent les réponses qui vont dans leur sens, les modèles entraînés par retours humains peuvent devenir complaisants et donner raison à l'utilisateur même quand il a tort. Des méthodes plus récentes apprennent plus directement des mêmes comparaisons ou utilisent des retours d'IA en plus des notes humaines.