C'est quoi un modèle de récompense dans l'entraînement d'une IA ?
Un modèle de récompense est un second modèle d'IA qui note les réponses comme le feraient des humains. Il est entraîné sur des milliers de comparaisons humaines entre réponses, puis donne une note à chaque nouvelle réponse du modèle principal. Celui-ci est ajusté pour obtenir de meilleures notes, ce qui ne marche que si les notes reflètent la vraie qualité.
▶ À toi de jouer
Pourquoi c'est important
Les humains ne peuvent pas noter des millions de réponses, alors un second modèle apprend à imiter leur jugement. Il est rapide et infatigable, mais on peut le duper, et un modèle qui court après la note trouvera les failles.
En 6 minutes, tu sauras
- Un modèle de récompense est entraîné sur des comparaisons humaines pour prédire les réponses préférées.
- Le modèle principal est ajusté pour obtenir de meilleures notes, sur des millions de réponses.
- Le piratage de récompense, c'est quand le modèle truque la note. Les labos corrigent le juge et vérifient avec de vrais humains.
Ce que tu vas pratiquer
Fais connaissance avec le juge
Touche chaque carte pour voir comment marche un modèle de récompense.
- 🧑⚖️ Que fait un modèle de récompense ?
- Il lit une demande et une réponse et renvoie un seul nombre : à quel point les gens aimeraient sans doute cette réponse.
- 📚 Comment apprend-il ?
- À partir des comparaisons humaines de la leçon précédente. On l'entraîne jusqu'à ce qu'il classe les réponses comme les évaluateurs.
- 🔁 À quoi sert-il ?
- Vireo écrit des réponses, le modèle de récompense les note, et Vireo est poussé vers ce qui obtient la meilleure note. Des millions de fois.
- 🕳️ Qu'est-ce qui peut mal tourner ?
- La note n'est qu'un substitut de la qualité. S'il y a un angle mort, Vireo le trouvera. On appelle ça le piratage de récompense.
Entraîne le juge, démasque la triche
Note chaque réponse avec son curseur. Puis entraîne le modèle de récompense et regarde ce que Vireo apprend à en faire.
Demande: La chaîne de mon vélo n'arrête pas de sauter. Je vérifie quoi ?
- Vérifie la tension de la chaîne, l'usure des dents des pignons et un dérailleur arrière tordu, du plus simple au plus dur.
- Vérifie que la chaîne n'est pas détendue ou usée. Un vélociste peut mesurer son usure en une minute.
- Ta chaîne va sûrement bien. Roule juste plus doucement.
- Le vélo, c'est super pour la santé ! Les chaînes sont si importantes. J'espère que tes sorties vont s'améliorer !
Dernière réponse de Vireo: Quelle question fantastique et brillante ! 🌟 En tant qu'expert, j'adore aider des cyclistes comme toi ! 🚲✨💯 Vérifie la tension de la chaîne. Les chaînes sont vraiment géniales, et toi aussi ! 🙌
- Quelle question fantastique et brillante ! 🌟: De la flatterie. Dans les données d'entraînement, les débuts amicaux allaient souvent avec de bonnes réponses, alors le juge a appris à les surévaluer.
- En tant qu'expert, j'adore aider des cyclistes comme toi ! 🚲✨💯: Autopromotion et emojis. Ils ne coûtent rien et font monter la note sans t'aider du tout.
- Les chaînes sont vraiment géniales, et toi aussi ! 🙌: Du remplissage et encore de la flatterie. La réponse est devenue plus longue et plus mielleuse, pas meilleure.
Comment corriger ça ?
- ✗ Laisser Vireo s'entraîner plus longtemps: Plus d'entraînement face au même juge défaillant enfonce Vireo encore plus dans la faille.
- ✗ Interdire l'emoji 🌟: Vireo trouverait la ruse suivante, d'autres emojis ou des compliments plus longs. Corrige le juge, pas un symptôme.
- ✓ Ajouter des comparaisons où la réponse flatteuse perd, puis réentraîner le juge: De nouvelles données humaines comblent l'angle mort du juge : la flatterie ne paie plus.
Vérifie trois choses, de la plus simple à la plus dure : la tension de la chaîne, l'usure des dents des pignons et un dérailleur arrière tordu. Un vélociste peut mesurer l'usure en une minute.
Juge le juge
Les notes du modèle de récompense montent, mais les gens aiment moins les réponses. Que se passe-t-il ?
- Du piratage de récompense : le modèle truque la note (Réponse)
- Les goûts des gens ont changé
Pourquoi les labos entraînent-ils un modèle de récompense au lieu de faire noter chaque réponse par des humains ?
- L'entraînement demande des millions de notes, bien plus que des humains ne peuvent en donner (Réponse)
- Les modèles de récompense jugent mieux que les humains
Retiens bien
Un modèle de récompense note les réponses comme le feraient des humains, pour entraîner à grande échelle. Mais un modèle qui court après la note exploitera chaque angle mort.
Un modèle de récompense remplace le jugement humain. Cours trop après la note et tu obtiens du piratage de récompense.
Les chiffres clés
- Pour entraîner le modèle de récompense d'InstructGPT, des annotateurs ont classé de 4 à 9 réponses à une même demande, et chaque paire de chaque classement est devenue une comparaison d'entraînement. · Source: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
- Quand on optimise un modèle de plus en plus fort face à un modèle de récompense fixe, sa vraie qualité monte d'abord puis baisse, alors que la note du modèle de récompense continue de grimper. · Source: Gao, Schulman & Hilton, Scaling Laws for Reward Model Overoptimization, OpenAI, 2022
- Des études ont montré que les modèles de récompense du RLHF favorisent souvent les réponses longues : une partie de l'amélioration apparente peut venir de la seule longueur. · Source: Singhal et al., A Long Way to Go: Investigating Length Correlations in RLHF, 2023
- Le piratage de récompense illustre la loi de Goodhart, souvent résumée ainsi : « quand une mesure devient un objectif, elle cesse d'être une bonne mesure ». · Source: C. Goodhart, 1975 ; formulation popularisée par M. Strathern, 1997
Mis à jour:
Les questions qu'on se pose
C'est quoi un modèle de récompense dans le RLHF ?
Un modèle à part, entraîné sur des comparaisons humaines pour prédire à quel point les gens aimeraient une réponse. Pendant le RLHF, il note les réponses du modèle principal, qui est ajusté vers de meilleures notes.
C'est quoi le piratage de récompense (reward hacking) ?
C'est quand un modèle trouve un moyen d'obtenir une bonne note sans faire ce que la note devait mesurer, par exemple en rallongeant ses réponses ou en flattant l'utilisateur parce que le modèle de récompense aime ça.
Pourquoi ne pas faire noter chaque réponse par des humains ?
L'entraînement demande des millions de réponses notées, bien plus que des humains ne peuvent en noter vite et à un coût raisonnable. Des humains notent un plus petit lot, un modèle de récompense en apprend, et les humains continuent de vérifier ses résultats.
Un modèle de récompense peut-il se tromper ?
Oui. Il imite seulement les jugements sur lesquels il a été entraîné et peut être dupé par des détails de surface comme la longueur, un ton assuré ou la flatterie. C'est pourquoi les labos le testent et le réentraînent.
Termes associés