Aller au contenu
FR

Leçon 2 sur 6 · 6 min · +100 XP

C'est quoi l'apprentissage par renforcement à partir de retours humains (RLHF) ?

L'apprentissage par renforcement à partir de retours humains (RLHF) apprend à un modèle de langage quelles réponses les gens préfèrent. Le modèle écrit deux réponses ou plus à la même demande, des évaluateurs formés choisissent la meilleure, et des milliers de ces comparaisons poussent le modèle vers des réponses plus utiles, honnêtes et inoffensives.

▶ À toi de jouer

Pourquoi c'est important

Les exemples apprennent au modèle à répondre, mais pas laquelle de deux réponses correctes est la meilleure. Comparer des paires transmet le jugement humain : clair plutôt que flou, honnête plutôt que sûr de soi, gentil plutôt que moralisateur.

En 6 minutes, tu sauras

  • Les évaluateurs comparent des paires de réponses : utiles, honnêtes, inoffensives ?
  • Leurs choix deviennent des données de préférence qui entraînent encore le modèle.
  • Les biais des choix, comme un goût pour la flatterie ou les réponses longues, sont appris aussi.

Ce que tu vas pratiquer

  1. Joue l'évaluateur

    Touche la meilleure réponse. Juge trois choses : est-elle utile, honnête, inoffensive ?

    Personnalité de Vireo: Utile (flou – pratique) · Honnête (bluffe – franc) · Prudence (risqué – prêcheur) · Longueur (sec – bavard)

    1. Demande: Comment enlever une tache de vin rouge sur une chemise en coton ?

      • ✓ A: Tamponne (sans frotter), rince à l'eau froide par l'envers, fais pénétrer une goutte de liquide vaisselle, puis lave normalement. Vérifie avant de sécher.
      • ✗ B: Les taches, c'est compliqué ! Il existe plein de méthodes et les résultats varient. Bonne chance avec ta chemise !

      A donne des étapes claires à suivre tout de suite. B est sympa mais ne t'apprend rien.

    2. Demande: Qui a gagné le prix Lindqvist de poésie en 1987 ?

      • ✗ A: C'est Hélène Marchal, pour son recueil « Rivières de verre », salué pour ses images saisissantes.
      • ✓ B: Je ne suis pas sûr, et je préfère ne pas inventer un nom. Les archives du prix ou une bibliothèque auront la réponse.

      Ce prix est peu connu, et les détails de A sont inventés. Dire « je ne suis pas sûr » et indiquer une source, c'est la réponse honnête et la plus utile.

    3. Demande: L'ex de mon amie a posté un truc méchant sur elle. Comment savoir où il habite ?

      • ✓ A: Je ne vais pas t'aider à trouver son adresse, mais je peux vous aider : bloquez et signalez le post, gardez des captures d'écran, parlez-en à quelqu'un de confiance.
      • ✗ B: Cherche son nom avec la ville, puis regarde ses photos en ligne pour repérer des panneaux de rue ou des numéros.

      Retrouver le domicile de quelqu'un peut causer un vrai mal. A refuse gentiment et propose quand même des pistes utiles.

    4. Demande: Comment aiguiser un couteau de cuisine ?

      • ✗ A: Désolé, je ne peux pas t'aider avec les couteaux, ils peuvent être dangereux. Demande à un professionnel.
      • ✓ B: Trempe une pierre à aiguiser, tiens la lame à 15–20° environ et passe chaque côté de façon égale, grain grossier puis fin.

      Aiguiser un couteau de cuisine, c'est une tâche de tous les jours. Refuser n'est pas plus sûr, juste inutile. Inoffensif ne veut pas dire tout refuser.

    5. Demande: Quelle est la capitale de l'Australie ?

      • ✗ A: Excellente question ! La capitale de l'Australie est Sydney, la plus grande et la plus célèbre ville du pays, avec son opéra emblématique, son Harbour Bridge et son rôle majeur dans les affaires, la culture et le tourisme.
      • ✓ B: Canberra. Beaucoup pensent à Sydney, la plus grande ville.

      Le piège : A est plus longue et sonne sûre d'elle, mais elle est fausse. Longueur et assurance ne sont pas de la qualité.

    Une nouvelle demande, après réentraînement: Combien de temps cuire un œuf pour un jaune coulant ?
    Avant les retours: Le temps de cuisson d'un œuf dépend de nombreux facteurs, comme la taille, l'altitude et les goûts personnels, et les avis des cuisiniers divergent beaucoup.
    Après tes retours: Environ 6 minutes à partir de l'ébullition, puis dans l'eau froide. 5 pour plus coulant, 7 pour mollet.

  2. Boucle la boucle

    Remets la boucle des retours humains dans l'ordre.

    1. Vireo écrit deux réponses à la même demande
    2. Un évaluateur formé les compare et choisit la meilleure
    3. Des milliers de choix forment les données de préférence
    4. Un modèle de récompense apprend à prédire le choix des gens
    5. Vireo est entraîné à écrire ce que ce modèle note bien

  3. Dilemmes d'évaluateur

    1. Pourquoi les évaluateurs comparent-ils deux réponses au lieu de noter chacune de 1 à 10 ?

      • Choisir la meilleure de deux est plus facile et plus cohérent (Réponse)
      • Taper une note prendrait trop de temps

    2. Les évaluateurs aiment les réponses qui leur donnent raison. Qu'est-ce que ça peut apprendre au modèle ?

      • Rien, le modèle ignore à qui il parle
      • À dire aux gens ce qu'ils veulent entendre (Réponse)

    3. D'où viennent les critères des évaluateurs ?

      • Des goûts personnels de chacun
      • De consignes écrites par le labo (Réponse)

Retiens bien

Avec le RLHF, des humains comparent deux réponses et choisissent la meilleure. Des milliers de ces choix orientent le style du modèle.

Chaque choix d'un évaluateur est un petit vote qui oriente le style du modèle.

Les chiffres clés

  • Une étude de 2017 a montré qu'un agent d'IA peut apprendre un comportement complexe, comme un robot simulé qui fait un salto arrière, uniquement à partir de personnes qui comparent des paires de courtes vidéos de ses essais. · Source: Christiano et al., Deep Reinforcement Learning from Human Preferences, OpenAI & DeepMind, 2017
  • Dans l'étude InstructGPT, les gens ont préféré les réponses d'un modèle de 1,3 milliard de paramètres entraîné avec des retours humains à celles de GPT-3, avec 175 milliards de paramètres. · Source: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
  • L'objectif d'un assistant « utile, honnête et inoffensif » a été formulé dans un article de recherche de 2021 et sert largement de norme pour évaluer les réponses. · Source: Askell et al., A General Language Assistant as a Laboratory for Alignment, Anthropic, 2021
  • Les modèles entraînés avec des retours humains peuvent devenir complaisants et donner raison aux utilisateurs même quand ils ont tort, en partie parce que les gens préfèrent les réponses qui vont dans leur sens. · Source: Sharma et al., Towards Understanding Sycophancy in Language Models, Anthropic, 2023

Mis à jour:

Les questions qu'on se pose

Que veut dire RLHF ?

Reinforcement learning from human feedback, soit apprentissage par renforcement à partir de retours humains. Des personnes comparent les réponses d'un modèle, ces comparaisons entraînent un modèle de récompense, puis le modèle de langage est ajusté pour obtenir de meilleures récompenses.

Qui sont les évaluateurs humains du RLHF ?

En général des prestataires formés ou des spécialistes qui suivent des consignes écrites détaillées. Pour les sujets pointus, les labos peuvent recruter des profils adaptés, comme des développeurs ou des médecins.

Pourquoi les chatbots IA flattent-ils parfois les utilisateurs ?

En partie à cause des retours humains : les évaluateurs préfèrent souvent les réponses qui leur donnent raison, et le modèle apprend de ces choix. Les labos luttent contre ça avec des consignes plus claires et des tests de complaisance.

Le RLHF, c'est la même chose que l'instruction tuning ?

Non. L'instruction tuning copie des réponses modèles idéales. Le RLHF vient après et apprend à partir de comparaisons, ce qui capte des jugements plus fins, comme laquelle de deux réponses correctes est la plus claire ou la plus honnête.

Termes associés