C'est quoi, les lois d'échelle en IA ?
Les lois d'échelle montrent que la perte d'un modèle de langage baisse de façon prévisible quand on ajoute des paramètres, des données et du calcul. Elles disent aussi comment répartir un budget de calcul fixe : une étude connue de 2022 a trouvé le meilleur résultat à environ 20 tokens d'entraînement par paramètre, en faisant grandir modèle et données ensemble.
▶ À toi de jouer
Pourquoi c'est important
Entraîner un gros modèle coûte une fortune en puces et en électricité, alors les labos le planifient à l'avance avec les lois d'échelle. La surprise : à budget fixe, le plus gros modèle n'est pas le meilleur.
En 6 minutes, tu sauras
- La qualité d'un modèle dépend de trois ingrédients qui grandissent : les données, les paramètres et le calcul.
- À budget fixe, un modèle géant avec trop peu de données fait moins bien qu'un modèle équilibré.
- Les lois d'échelle permettent aux labos de prévoir de gros entraînements à partir de petites expériences bon marché.
Ce que tu vas pratiquer
Trois choses qui grandissent
Range chaque ligne du plan d'entraînement de Vireo dans l'ingrédient qu'elle fait grandir.
- 15 000 milliards de tokens de texte → Données
- Des couches plus larges, et plus nombreuses → Paramètres
- Des milliers de puces qui tournent pendant des mois → Calcul
- 70 milliards de poids → Paramètres
- Ajouter des livres, du code et plus de pages web → Données
- Une facture d'électricité record → Calcul
Dépense le budget de calcul
Fais glisser le curseur pour répartir le budget entre taille du modèle et données d'entraînement. Trouve la perte la plus basse, puis valide.
Même budget, deux façons de le dépenser : un plus gros modèle, ou plus de texte pour l'entraîner. Fais glisser pour essayer différentes répartitions et regarde la perte prévue. Plus bas, c'est mieux.
- Budget ×1: La meilleure répartition ici : 1 Md paramètres sur 20 Md tokens.
- Budget ×10: La meilleure répartition ici : 3,2 Md paramètres sur 63 Md tokens.
- Budget ×100: La meilleure répartition ici : 10 Md paramètres sur 200 Md tokens.
≈ 20 tokens d'entraînement par paramètre Illustratif : une formule de type Chinchilla, pas de vraies mesures
Planifie le prochain entraînement
Même budget, deux plans. Quel modèle sortira sans doute meilleur ?
- Un modèle 4 fois plus petit, entraîné sur 4 fois plus de texte (Réponse)
- Le plus gros modèle que permet le budget, sur le texte qui reste
Vireo Labs entraîne un petit modèle sur bien plus de 20 tokens par paramètre. Pourquoi est-ce malin ?
- Un petit modèle coûte moins cher à faire tourner pour des millions d'utilisateurs, donc l'entraînement en plus est rentable (Réponse)
- C'est une erreur, plus de 20 tokens par paramètre ne sert à rien
Que permettent les lois d'échelle à un labo avant de dépenser des mois de calcul ?
- Prévoir à peu près la qualité d'un plus gros modèle à partir de petits essais (Réponse)
- Garantir exactement quelles compétences aura le modèle
Retiens bien
À budget de calcul fixe, fais grandir le modèle et ses données ensemble. Le point idéal classique : environ 20 tokens d'entraînement par paramètre.
À budget fixe, fais grandir le modèle et les données ensemble : environ 20 tokens d'entraînement par paramètre.
Les chiffres clés
- La perte d'un modèle de langage baisse de façon régulière et prévisible, selon des lois de puissance, quand la taille du modèle, les données et le calcul augmentent. · Source: Kaplan et al., Scaling Laws for Neural Language Models, OpenAI, 2020
- À budget de calcul fixe, les meilleurs résultats venaient d'une croissance égale de la taille du modèle et des tokens d'entraînement, environ 20 tokens par paramètre. · Source: Hoffmann et al., Training Compute-Optimal Large Language Models, DeepMind, 2022
- Chinchilla, avec 70 milliards de paramètres et entraîné sur 1 400 milliards de tokens, a surpassé Gopher et ses 280 milliards de paramètres, qui avait utilisé le même budget de calcul. · Source: Hoffmann et al., DeepMind, 2022
- GPT-3, avec 175 milliards de paramètres, a été entraîné sur environ 300 milliards de tokens : moins de 2 tokens par paramètre. · Source: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- Llama 3 a été pré-entraîné sur plus de 15 000 milliards de tokens, bien plus de 20 par paramètre, même pour son plus gros modèle. · Source: Meta, The Llama 3 Herd of Models, 2024
Mis à jour:
Les questions qu'on se pose
C'est quoi, la loi d'échelle Chinchilla ?
Un résultat de 2022 : pour une quantité fixe de calcul d'entraînement, la taille du modèle et les données d'entraînement doivent grandir ensemble. La règle pratique qui en découle : environ 20 tokens d'entraînement par paramètre.
Les modèles d'IA plus gros sont-ils toujours meilleurs ?
Pas à budget égal. Un modèle plus gros n'aide que s'il reçoit aussi assez de données d'entraînement. Un modèle plus petit entraîné sur plus de texte peut battre un modèle bien plus gros mais sous-entraîné.
Que veut dire « calcul » dans l'entraînement d'une IA ?
Le nombre total d'opérations utilisées pour entraîner un modèle. On le paie en puces spécialisées, en temps de fonctionnement et en électricité.
Pourquoi les labos entraînent-ils de petits modèles sur autant de données ?
Les petits modèles coûtent moins cher et répondent plus vite pour chaque utilisateur. Les entraîner sur bien plus de données que l'optimum de calcul leur donne une qualité en plus, rentabilisée sur des millions d'utilisations.
Termes associés