Comment sont créés les LLM / Glossaire

Modèle de récompense

Un modèle de récompense est un modèle d'IA séparé qui note les réponses comme le feraient des évaluateurs humains. Il est entraîné sur des comparaisons humaines, puis sert à guider un modèle de langage vers de meilleures réponses.

Les gens ne peuvent pas noter des millions de réponses, alors on met leurs jugements en bouteille dans un modèle. Pour entraîner le modèle de récompense d'InstructGPT, des annotateurs ont classé de 4 à 9 réponses au même prompt, et chaque paire tirée de chaque classement est devenue un exemple d'entraînement.

Une fois entraîné, le modèle de récompense note chaque nouvelle réponse écrite par le modèle principal, et l'apprentissage par renforcement pousse le modèle principal vers les notes élevées.

La note n'est qu'un substitut de la vraie qualité. Poussé trop loin, le modèle principal apprend à la tromper, ce qu'on appelle le reward hacking : la note continue de monter alors que la vraie qualité baisse. Des études ont aussi montré que les modèles de récompense favorisent souvent les réponses longues.