Comment sont créés les LLM / Glossaire

Lois d'échelle (scaling laws)

Les lois d'échelle sont des régularités qui montrent que la perte d'un modèle de langage baisse de façon régulière et prévisible quand on ajoute des paramètres, des données et du calcul. Les labos s'en servent pour décider quelle taille construire.

Des travaux de 2020 ont montré que la perte suit de simples lois de puissance : double la taille du modèle, les données ou le calcul, et la perte baisse d'une quantité prévisible. Les labos ont ainsi pu prévoir la qualité d'un modèle avant de dépenser l'argent pour l'entraîner.

Une étude de 2022 a affiné la recette : pour un budget de calcul fixe, il faut faire grandir le modèle et ses données ensemble, à environ 20 tokens d'entraînement par paramètre. Son modèle Chinchilla de 70 milliards de paramètres, entraîné sur 1 400 milliards de tokens, a battu Gopher et ses 280 milliards de paramètres, entraîné avec le même budget.

Les lois d'échelle prédisent la perte, pas des compétences précises, donc certaines capacités surprennent encore. Beaucoup de modèles récents s'entraînent aussi sur bien plus de 20 tokens par paramètre, parce qu'un modèle plus petit entraîné plus longtemps coûte moins cher à faire tourner ensuite.