Comment sont créés les LLM / Glossaire

Quantification (quantization)

La quantification rend un modèle d'IA plus petit et plus rapide en stockant chacun de ses poids sur moins de bits, par exemple 4 au lieu de 16, en acceptant une petite erreur d'arrondi.

Chaque poids est un nombre, et le stocker précisément prend de la place. La quantification arrondit les poids vers un plus petit ensemble de valeurs. Un modèle de 7 milliards de poids a besoin d'environ 14 Go à 16 bits par poids, et d'environ 3,5 Go à 4 bits.

Bien faite, elle coûte étonnamment peu en qualité : des chercheurs ont fait tourner des modèles allant jusqu'à 175 milliards de paramètres avec des poids sur 8 bits sans perte de performance. Arrondir trop fort, sur très peu de bits, commence en revanche à nuire.

La quantification est l'une des principales raisons pour lesquelles des modèles performants tournent aujourd'hui sur ordinateur portable et téléphone. Elle est souvent combinée à la distillation, qui entraîne un modèle plus petit à copier un plus grand.