Comment un modèle d'IA apprend-il de ses erreurs ?
Un modèle apprend en mesurant ses erreurs et en ajustant ses réglages. Après chaque supposition, un nombre appelé la perte dit à quel point il s'est trompé. La rétropropagation calcule dans quel sens chacun des milliards de poids doit tourner pour réduire la perte, et la descente de gradient les déplace tous d'un petit pas, encore et encore.
▶ À toi de jouer
Pourquoi c'est important
« Entraînement », ça sonne mystérieux, mais c'est une seule boucle : noter l'erreur, trouver la pente, tourner un peu chaque bouton. La taille de chaque ajustement décide si l'entraînement marche ou non.
En 6 minutes, tu sauras
- La perte est un seul nombre qui dit à quel point une supposition était fausse. L'entraînement cherche à la faire baisser.
- La rétropropagation trouve la direction de la pente pour chaque bouton, et la descente de gradient les ajuste tous.
- Un taux d'apprentissage trop petit se traîne, un trop grand dépasse ou explose : les ingénieurs le règlent avec soin.
Ce que tu vas pratiquer
Quatre mots d'ingénieurs
Touche chaque carte. Ces quatre idées forment toute la boucle d'entraînement.
- 📉 Perte
- Un seul nombre qui dit à quel point le modèle s'est trompé. Si le vrai mot suivant était « bleu » et que le modèle lui a donné peu de chances, la perte est élevée.
- 🎛️ Poids
- Les boutons du modèle, des milliards. Ensemble, ils décident de chaque prédiction. L'entraînement ne change jamais que ces nombres.
- 🧭 Gradient
- Pour chaque bouton : dans quel sens le tourner pour faire baisser la perte, et à quel point il compte. La rétropropagation le calcule pour tous les boutons à la fois.
- 👣 Taux d'apprentissage
- La taille de chaque ajustement. Trop petit, l'entraînement se traîne ; trop grand, il dépasse la cible ou explose.
Descends dans la vallée de la perte
La bille est l'un des boutons de Vireo. Choisis une taille de pas, appuie sur Ajuster et fais passer la perte sous la ligne verte.
Taille du pas (taux d'apprentissage): minuscule · petit · moyen · grand · énorme
La hauteur de la bille, c'est la perte. Chaque Ajuster regarde où ça descend et tourne le bouton dans ce sens, de la taille de pas que tu choisis. Fais passer la perte sous la ligne verte.
- Dans cette vallée, les pas moyens sont les plus rapides. Les minuscules se traînent, les grands rebondissent, les énormes s'envolent.
- Une vallée bien plus raide. La même taille de pas marche-t-elle encore ? Dans une vallée raide, les petits pas gagnent. Un pas qui allait bien avant dépasse maintenant le fond : c'est pourquoi les ingénieurs règlent le taux d'apprentissage.
- Maintenant, une longue pente douce. Qu'est-ce qui lui convient ? Sur une pente douce, les grands pas sont sans danger et font gagner du temps. Les vrais entraînements réduisent en général leurs pas au fil du temps.
Lis le tableau de bord
La courbe de perte de Vireo fait des bonds énormes puis sort du graphique. Quelle est la solution la plus probable ?
- Baisser le taux d'apprentissage (Réponse)
- Augmenter le taux d'apprentissage
- Supprimer la moitié des boutons
Quelle partie calcule dans quel sens chaque bouton doit tourner ?
- La rétropropagation, qui calcule le gradient (Réponse)
- Un ingénieur qui vérifie chaque bouton à la main
Une perte plus basse veut-elle dire que Vireo a maintenant toujours raison ?
- Non, ça veut dire que ses suppositions collent mieux au texte d'entraînement (Réponse)
- Oui, une perte basse veut dire qu'il ne fait plus d'erreurs
Retiens bien
L'entraînement est une seule boucle : mesurer la perte, trouver la pente, tourner chaque bouton d'un petit pas. La taille du pas décide si ça marche.
La perte mesure l'erreur, le gradient indique la pente, et le taux d'apprentissage fixe la taille de chaque ajustement.
Les chiffres clés
- La rétropropagation, la méthode qui calcule comment ajuster chaque poids d'un réseau, a été popularisée par un article publié dans Nature en 1986. · Source: Rumelhart, Hinton & Williams, Learning representations by back-propagating errors, 1986
- GPT-3 a 175 milliards de paramètres, et chacun est un bouton que l'entraînement ajuste. · Source: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- La plupart des grands modèles de langage sont entraînés avec Adam ou une variante proche, une forme raffinée de descente de gradient qui adapte la taille du pas pour chaque bouton. · Source: Kingma & Ba, Adam: A Method for Stochastic Optimization, 2015
- Les grands entraînements augmentent en général progressivement le taux d'apprentissage au début, puis le baissent peu à peu au fil de l'entraînement.
Mis à jour:
Les questions qu'on se pose
C'est quoi, la descente de gradient, en termes simples ?
Une façon de trouver de bons réglages en faisant de petits pas vers le bas. Tu regardes dans quel sens l'erreur diminue, tu fais un petit pas dans ce sens, et tu recommences jusqu'à ce que l'erreur soit faible.
C'est quoi, une fonction de perte ?
Une formule qui transforme l'erreur d'un modèle en un seul nombre. Pour un modèle de langage, elle mesure à quel point le vrai token suivant l'a surpris : moins il le jugeait probable, plus la perte est élevée.
C'est quoi, le taux d'apprentissage ?
La taille de chaque pas de mise à jour pendant l'entraînement. Trop élevé, l'entraînement devient instable ; trop bas, il prend beaucoup trop de temps. C'est l'un des réglages les plus soigneusement ajustés.
C'est quoi, la rétropropagation ?
La méthode qui calcule, pour chaque poids d'un réseau, l'effet qu'aurait un petit changement sur la perte. Elle remonte de la sortie vers l'arrière à travers chaque couche, d'où son nom.
Termes associés