Aller au contenu
FR

Leçon 3 sur 6 · 6 min · +100 XP

Comment la prédiction du token suivant entraîne-t-elle un LLM ?

Un grand modèle de langage est pré-entraîné en jouant à un seul jeu : il lit du vrai texte, cache le token suivant, parie sur la suite, puis regarde la vraie réponse et ajuste ses poids. Répété des milliers de milliards de fois, ce jeu simple l'oblige à apprendre la grammaire, des faits, des schémas de raisonnement et même du code.

▶ À toi de jouer

Pourquoi c'est important

Pendant le pré-entraînement, aucun prof n'écrit les réponses. Le texte lui-même sert de corrigé : c'est pourquoi un modèle peut apprendre de tout le web, et pourquoi il retient bien plus que la grammaire.

En 6 minutes, tu sauras

  • Un LLM apprend en devinant le token suivant dans du vrai texte et en s'ajustant après chaque supposition.
  • Le texte est son propre corrigé, donc aucun humain n'a besoin de rien étiqueter.
  • Bien deviner récompense la grammaire, les faits, le raisonnement et le code : c'est pourquoi les modèles apprennent tout ça.

Ce que tu vas pratiquer

  1. Prends la place de Vireo

    Chaque ligne vient du texte d'entraînement. Parie sur le token suivant, puis vois comment un modèle entraîné répartit ses paris. Les pourcentages sont illustratifs.

    1. Elle a ouvert la porte et elle est ___

      • entrée: 38 % (le plus probable)
      • sortie: 20 %
      • partie: 12 %
      • restée: 6 %
      • porte: 0,1 %
      • autres mots: 24 %
      Pour bien deviner ici, le modèle doit apprendre la grammaire : après « elle est » vient un participe passé, presque jamais un nom.

    2. L'eau gèle à 0 degré ___

      • Celsius: 72 % (le plus probable)
      • .: 10 %
      • et: 5 %
      • Fahrenheit: 3 %
      • autres mots: 10 %
      Répondre juste, c'est absorber un fait. Personne n'a appris la physique à Vireo : le fait apparaît simplement dans le texte encore et encore.

    3. Léa a 3 pommes et en achète 4 de plus. Maintenant, elle en a ___

      • 7: 64 % (le plus probable)
      • sept: 12 %
      • 4: 3 %
      • plein: 1 %
      • autres mots: 20 %
      Ici, c'est un calcul simple qui gagne. Bien prédire le texte récompense discrètement tout ce qui aide, y compris raisonner étape par étape.

    4. for i in range( ___

      • 10: 30 % (le plus probable)
      • len: 26 %
      • n: 20 %
      • pommes: 0,1 %
      • autres mots: 24 %
      Le code aussi, c'est du texte. S'exercer sur des millions de programmes apprend au passage les motifs des langages de programmation.

    5. Anglais : thank you. Français : ___

      • merci: 82 % (le plus probable)
      • thank: 3 %
      • bonjour: 2 %
      • autres mots: 13 %
      Ce genre de paires apparaît partout sur le web, donc le modèle apprend à traduire comme effet secondaire du jeu du token suivant.

    6. Le chat de mon voisin s'appelle ___

      • Félix: 5 % (le plus probable)
      • Minou: 5 % (le plus probable)
      • Monsieur: 4 %
      • Tigrou: 2 %
      • autres mots: 84 %
      Aucun texte ne peut te le dire. Le modèle apprend à répartir finement ses paris, mais il choisira quand même un nom : l'une des racines des réponses inventées avec assurance.

  2. Une étape de pré-entraînement

    Remets dans l'ordre un tour du jeu d'entraînement.

    1. Prendre un passage de vrai texte dans les données d'entraînement
    2. Cacher le token qui vient ensuite
    3. Vireo parie sur chaque token suivant possible
    4. Révéler le vrai token et mesurer la surprise de Vireo
    5. Ajuster les poids pour que le vrai token ait plus de chances
    6. Avancer d'un token et rejouer

  3. Qu'apprend cette manche ?

    Chaque trou récompense une compétence différente. Trie-les.

    • Les chats ___ endormis. (sont) → Grammaire
    • La plus grande planète est ___ (Jupiter) → Faits
    • 12 + 30 = ___ (42) → Raisonnement
    • Hier, je ___ allé à l'école. (suis) → Grammaire
    • L'eau bout à ___ °C au niveau de la mer. (100) → Faits
    • Hugo est plus grand qu'Adam, Adam plus grand que Lucas, donc Lucas est le plus ___ (petit) → Raisonnement

Retiens bien

Le pré-entraînement, c'est un seul jeu : deviner le token suivant, vérifier, ajuster. Joué des milliers de milliards de fois, il apprend bien plus que des mots.

Un seul jeu, deviner le token suivant, apprend à la fois la grammaire, des faits, les maths et le code.

Les chiffres clés

  • En 1951, Claude Shannon a mesuré à quel point l'anglais est prévisible en demandant à des gens de deviner la lettre suivante d'un texte. · Source: C. E. Shannon, Prediction and Entropy of Printed English, Bell System Technical Journal, 1951
  • Llama 3 a été pré-entraîné sur plus de 15 000 milliards de tokens de texte. · Source: Meta, The Llama 3 Herd of Models, 2024
  • Une grande partie du texte d'entraînement de GPT-3 venait d'une version filtrée de Common Crawl, une archive ouverte du web. · Source: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
  • Un modèle entraîné uniquement à prédire le mot suivant pouvait déjà tenter des tâches comme la traduction et le résumé sans avoir été entraîné spécialement pour elles. · Source: Radford et al., Language Models are Unsupervised Multitask Learners, OpenAI, 2019

Mis à jour:

Les questions qu'on se pose

C'est quoi, la prédiction du token suivant ?

La tâche d'entraînement des grands modèles de langage : à partir d'un texte, prédire le token qui vient ensuite. Le modèle note chaque token possible et apprend de l'ampleur de son erreur.

C'est quoi, l'apprentissage auto-supervisé ?

Un apprentissage où les données fournissent leurs propres réponses. Un modèle de langage cache le token suivant d'un vrai texte et essaie de le deviner, donc personne n'a besoin d'étiqueter des exemples à la main.

Comment prédire des mots peut-il apprendre des faits à un modèle ?

Beaucoup de tokens suivants ne se devinent qu'en sachant quelque chose sur le monde. Pour réduire son erreur sur ceux-là, le modèle doit stocker dans ses poids des motifs qui fonctionnent comme des faits.

Sur combien de tokens les LLM sont-ils entraînés ?

Les grands modèles de langage actuels sont pré-entraînés sur des milliers de milliards de tokens. Meta a par exemple annoncé plus de 15 000 milliards de tokens pour Llama 3.

Termes associés