Comment sont créés les LLM / Glossaire

Paramètres (poids du modèle)

Les paramètres, aussi appelés poids, sont les nombres réglables à l'intérieur d'un modèle d'IA. L'entraînement les ajuste pour améliorer les prédictions, et ensemble ils stockent tout ce que le modèle a appris.

Un modèle de langage est un énorme calcul. Le texte entre sous forme de nombres, il est multiplié et additionné avec les paramètres du modèle, et une prédiction sort. Avant l'entraînement, les paramètres sont aléatoires ; l'entraînement ajuste chacun d'eux jusqu'à ce que les prédictions soient bonnes.

La taille d'un modèle se compte en général en paramètres. GPT-3 en avait 175 milliards, et beaucoup de modèles qu'on peut faire tourner sur un ordinateur portable en ont quelques milliards. Plus de paramètres peuvent stocker plus de motifs, mais demandent aussi plus de mémoire, de puissance de calcul et de données d'entraînement.

Les paramètres prennent de la place : à 16 bits chacun, un modèle de 7 milliards de poids a besoin d'environ 14 Go rien que pour se charger. C'est pourquoi des astuces comme la quantification, qui stocke chaque poids sur moins de bits, comptent pour faire tourner des modèles sur téléphone et ordinateur portable.