Aller au contenu
FR

Leçon 4 sur 6 · 6 min · +100 XP

Comment un LLM génère-t-il une réponse, un token à la fois ?

Un modèle de langage écrit sa réponse un token à la fois. À chaque étape, il note chaque token suivant possible, transforme ces notes en probabilités et en tire un au sort : les plus probables gagnent souvent. Le token s'ajoute au texte et la boucle recommence jusqu'à un token de fin. La température rend le tirage plus sage ou plus audacieux.

▶ À toi de jouer

Pourquoi c'est important

Chaque réponse que tu lis a été tirée token par token dans une liste de probabilités. Ça explique pourquoi le texte s'affiche au fil de l'eau, pourquoi les réponses varient et comment un seul bouton change le ton.

En 6 minutes, tu sauras

  • Les modèles de langage écrivent en notant chaque token suivant, en en tirant un et en recommençant.
  • Des réponses différentes à la même question viennent de tirages différents, pas d'un changement d'avis.
  • Pour les faits et les maths, des réglages stables aident ; pour les idées, des réglages plus chauds apportent de la variété.

Ce que tu vas pratiquer

  1. La boucle de génération

    Tu envoies une question à Vireo. Remets dans l'ordre les étapes de l'écriture de la réponse.

    1. Ton message est découpé en tokens
    2. Le modèle note chaque token suivant possible
    3. Les notes deviennent des probabilités, réglées par la température
    4. Un token est tiré et ajouté au texte
    5. La boucle recommence jusqu'au tirage d'un token de fin

  2. Fais tourner la machine à générer

    Appuie sur Token suivant et regarde la roue tirer chaque mot. Puis règle les boutons pour chaque mission et teste. Les probabilités sont inventées pour illustrer l'idée.

    1. Une réponse de maths doit être fiable : le bon nombre, à chaque fois.

      Toi: Combien font 7 × 8 ?

      Token suivant · probabilités

      1. “7 × 8” 70 % · “Sept fois huit” 22 % · “Le résultat” 8 %
      2. “font” 90 % · “égale” 8 % · “donne” 2 %
      3. “56” 84 % · “54” 7 % · “58” 5 % · “65” 3 % · “violet” 1 %
      4. “.” 90 % · “!” 10 %

      ✓ À basse température, le token favori gagne presque chaque tirage : les trois réponses disent 56. Pour les faits, les maths et le code, c'est le froid qu'il te faut.

    2. Remue-méninges : le club de robotique veut plein de noms d'équipe différents à mettre au vote.

      Toi: Propose un nom pour notre équipe de robotique.

      Token suivant · probabilités

      1. “Les” 100 %
      2. “Hiboux” 50 % · “Fusées” 20 % · “Sorciers” 14 % · “Renards” 10 % · “Étincelles” 6 %
      3. “Électriques” 55 % · “Cosmiques” 20 % · “Magnétiques” 12 % · “Turbo” 9 % · “Pixel” 4 %

      ✓ Des probabilités plus chaudes donnent une vraie chance aux mots moins probables : chaque tirage apporte un nouveau nom. Pour des idées, la variété, c'est le but.

    3. Un début d'histoire doit surprendre le lecteur, mais garder du sens.

      Toi: Commence une courte histoire sur un phare.

      Token suivant · probabilités

      1. “Le gardien du phare” 100 %
      2. “trouva” 48 % · “entendit” 26 % · “peignit” 18 % · “le” 5 % · “mangea” 3 %
      3. “un” 66 % · “un vieux” 20 % · “un seul” 10 % · “glorp” 4 %
      4. “message” 40 % · “cachalot” 25 % · “portail” 20 % · “chausson” 10 % · “de de” 5 %
      5. “dans le brouillard.” 50 % · “sous l'escalier.” 28 % · “dans une bouteille.” 17 % · “banane banane” 5 %

      ✓ Température haute pour la surprise, top-k 3 pour que seuls les trois mots les plus probables puissent sortir à chaque étape. Créatif, et la queue de n'importe quoi est coupée.

  3. Ce que ça change pour toi

    1. Tu poses deux fois la même question à Vireo et obtiens deux formulations différentes. Que s'est-il passé ?

      • Chaque token a été retiré au sort selon les probabilités (Réponse)
      • Vireo a appris quelque chose entre les deux questions

    2. Pourquoi une longue réponse s'affiche-t-elle mot à mot ?

      • Chaque token n'est généré qu'après le précédent (Réponse)
      • C'est une animation pour rendre l'appli sympa

    3. Un développeur règle la température à 0 pour un outil qui remplit des déclarations d'impôts. Bonne idée ?

      • Oui : le token favori gagne à chaque fois, les réponses sont stables (Réponse)
      • Non : une température de 0 éteint le modèle

Retiens bien

Une réponse est tirée un token à la fois dans une liste de probabilités. Température basse : stable ; température haute : créative.

Une réponse est tirée un token à la fois selon des probabilités. Température basse : fiable ; haute : créative ; et le top-k coupe le n'importe quoi.

Les chiffres clés

  • Le transformer, l'architecture derrière les grands modèles de langage actuels, génère sa sortie un token à la fois, en réinjectant chaque nouveau token comme entrée pour le suivant. · Source: Vaswani et al., Attention Is All You Need, Google, 2017
  • Des chercheurs ont constaté que toujours choisir le mot le plus probable donne un texte fade et répétitif, et ont proposé l'échantillonnage nucleus (top-p), qui tire seulement parmi le plus petit groupe de tokens couvrant l'essentiel des probabilités. · Source: Holtzman et al., The Curious Case of Neural Text Degeneration, ICLR 2020
  • L'échantillonnage top-k, qui tire seulement parmi les k tokens les plus probables, a servi à générer des histoires plus variées que le décodage classique. · Source: Fan, Lewis and Dauphin, Hierarchical Neural Story Generation, ACL 2018
  • La température divise les notes brutes du modèle avant qu'elles deviennent des probabilités : en dessous de 1, le favori se renforce ; au-dessus de 1, les probabilités s'égalisent.

Mis à jour:

Les questions qu'on se pose

C'est quoi la température d'un LLM ?

La température est un réglage qui remodèle les probabilités avant chaque tirage de token. Basse, le token le plus probable gagne presque toujours, pour des réponses stables. Haute, les probabilités s'aplatissent : les réponses varient davantage et, si on pousse trop, perdent leur sens.

Pourquoi les chatbots IA donnent-ils des réponses différentes à la même question ?

Les chatbots tirent en général chaque token dans une liste de probabilités au lieu de toujours prendre le favori. Un tirage différent au début de la réponse mène à une autre formulation, parfois à une autre réponse.

C'est quoi l'échantillonnage top-k ?

Le top-k laisse le modèle tirer seulement parmi les k tokens suivants les plus probables. Il garde un peu de variété tout en coupant la longue traîne de tokens improbables, souvent absurdes.

Comment un LLM sait-il quand arrêter d'écrire ?

Pendant l'entraînement, il a appris un token de fin spécial qui marque la fin d'une réponse. Quand ce token est tiré, ou qu'une limite de longueur est atteinte, la génération s'arrête.

Termes associés