Comment rendre un grand modèle de langage assez petit pour un téléphone ?
Deux astuces réduisent un modèle de langage. La quantification stocke chacun de ses milliards de poids sur moins de bits, par exemple 4 au lieu de 16 : le fichier devient plusieurs fois plus petit et rapide, pour peu de perte, tant que l'arrondi reste raisonnable. La distillation entraîne un petit modèle élève à copier un grand modèle enseignant.
▶ À toi de jouer
Pourquoi c'est important
Les plus grands modèles demandent des baies entières de puces. Les réduire, c'est ce qui permet à l'IA de tourner sur un ordi portable ou un téléphone, moins cher, plus vite et même hors ligne, et ça explique pourquoi de petits modèles peuvent rester bons.
En 6 minutes, tu sauras
- La taille d'un modèle, c'est surtout ses poids multipliés par les bits utilisés pour chacun.
- Jusqu'à environ 4 bits, la qualité baisse en général peu ; bien en dessous, les réponses se cassent.
- Les petits modèles sur l'appareil peuvent marcher hors ligne et garder ton texte chez toi.
Ce que tu vas pratiquer
Pourquoi réduire un modèle ?
Touche chaque carte.
- 📦 Quelle taille fait un modèle ?
- Un modèle, ce sont des milliards de nombres appelés poids. À 16 bits chacun, un modèle de 7 milliards de poids occupe environ 14 Go.
- 📱 Pourquoi le faire tourner sur l'appareil ?
- Il marche hors ligne, répond sans passer par un serveur, et ton texte peut rester sur ton appareil.
- ⚡ Pourquoi plus petit = plus rapide ?
- Pour chaque token, la puce doit lire les poids en mémoire. Moins d'octets à lire, c'est plus de tokens par seconde.
- 💸 Pourquoi les labos s'en soucient ?
- Servir des millions de personnes coûte des puces et de l'électricité. Un modèle plus petit qui répond presque aussi bien coûte bien moins cher à faire tourner.
Réduis Vireo pour un téléphone
Baisse la précision et regarde les poids, la taille et la qualité. Installe-le quand il rentre et marche encore. Tailles, vitesses et scores sont donnés pour illustrer.
Vireo · 7B
- 32 bits: 28 Go · 2 tok/s · Qualité 100% · La capitale de l'Australie est Canberra.
- 16 bits: 14 Go · 5 tok/s · Qualité 100% · La capitale de l'Australie est Canberra.
- 8 bits: 7 Go · 9 tok/s · Qualité 99% · La capitale de l'Australie est Canberra.
- 4 bits: 3,5 Go · 16 tok/s · Qualité 96% · L'Australie a pour capitale Canberra.
- 2 bits: 1,75 Go · 21 tok/s · Qualité 38% · La capitale capitale de l'Austral est est Sydberra berra
Vireo Mini · 1B
- 32 bits: 4 Go · 12 tok/s · Qualité 89% · Canberra est la capitale de l'Australie.
- 16 bits: 2 Go · 24 tok/s · Qualité 89% · Canberra est la capitale de l'Australie.
- 8 bits: 1 Go · 44 tok/s · Qualité 88% · Canberra est la capitale de l'Australie.
- 4 bits: 0,5 Go · 70 tok/s · Qualité 85% · Canberra, capitale de l'Australie.
- 2 bits: 0,25 Go · 84 tok/s · Qualité 31% · Canberra la la de capitale Aus Aus
Fais rentrer Vireo dans les 4 Go libres du téléphone, avec une qualité d'au moins 90 %.
✓ 4 bits par poids : un huitième de la taille d'origine, et presque aussi bon. C'est pour ça que les modèles en 4 bits sont populaires sur ordi portable et téléphone.
Même à 2 bits, le modèle 7B fait 1,75 Go, et il est cassé. Comment obtenir un modèle bien plus petit qui répond encore bien ?
- ✓ Entraîner un petit élève à copier les réponses du grand modèle: C'est la distillation. L'élève apprend toutes les probabilités de l'enseignant pour chaque mot, pas seulement bon ou mauvais, donc il apprend beaucoup avec peu.
- ✗ Supprimer au hasard la plupart des couches du grand modèle: Couper des couches au hasard casse ce que le modèle a appris. La distillation garde le savoir en formant exprès un modèle plus petit.
- ✗ Entraîner un petit modèle de zéro sur un minuscule jeu de données: Un petit modèle entraîné seul sur peu de données apprend bien moins. Copier les réponses d'un grand enseignant lui donne une longueur d'avance.
Un téléphone moins cher n'a que 0,8 Go de libre. Installe l'élève avec une qualité d'au moins 80 %.
✓ Distillation, puis quantification : un modèle qui faisait 28 Go répond bien dans un demi-gigaoctet. Les labos combinent sans cesse les deux astuces.
Quelle astuce est-ce ?
Est-ce de la quantification, de la distillation, ou est-ce que ça grossit le modèle ?
- Stocker chaque poids sur 4 bits au lieu de 16 → Quantification
- Un modèle 1B entraîné sur les réponses d'un modèle 70B → Distillation
- Arrondir 0,73914 à 0,74 pour chaque poids → Quantification
- Ajouter deux fois plus de couches → Ça le grossit
- Copier les probabilités de l'enseignant pour chaque mot suivant → Distillation
- Entraîner sur dix fois plus de texte avec plus de poids → Ça le grossit
Retiens bien
La quantification arrondit chaque poids sur moins de bits ; la distillation apprend à un petit modèle à copier un grand. Les deux font tenir l'IA sur des appareils plus petits.
Arrondir les poids sur moins de bits réduit beaucoup un modèle pour peu de perte, jusqu'à un certain point. Un modèle élève peut apprendre d'un enseignant.
Les chiffres clés
- La distillation de connaissances, qui entraîne un petit modèle sur les sorties adoucies d'un grand, a été popularisée par un article de 2015. · Source: Hinton, Vinyals and Dean, Distilling the Knowledge in a Neural Network, Google, 2015
- DistilBERT était 40 % plus petit et 60 % plus rapide que le modèle BERT dont il a appris, tout en gardant 97 % de sa compréhension du langage. · Source: Sanh et al., DistilBERT, Hugging Face, 2019
- Stocker les poids sur 8 bits a permis de faire tourner des modèles jusqu'à 175 milliards de paramètres sans perte de performance. · Source: Dettmers et al., LLM.int8(), 2022
- Avec des poids sur 4 bits, des chercheurs ont ajusté un modèle de 65 milliards de paramètres sur une seule carte graphique de 48 Go. · Source: Dettmers et al., QLoRA, 2023
- Un modèle de 7 milliards de poids demande environ 14 Go à 16 bits par poids, et environ 3,5 Go à 4 bits.
Mis à jour:
Les questions qu'on se pose
C'est quoi la quantification d'un LLM ?
La quantification stocke les poids d'un modèle sur moins de bits, par exemple 4 au lieu de 16. Le modèle devient plusieurs fois plus petit et plus rapide, en général avec une faible baisse de qualité.
C'est quoi la distillation de modèle ?
La distillation entraîne un petit modèle élève à imiter les sorties d'un grand modèle enseignant, y compris la probabilité qu'il donne à chaque mot suivant possible. L'élève finit bien meilleur qu'un petit modèle entraîné seul.
Peut-on faire tourner un LLM sur un téléphone ?
Oui. Les petits modèles de quelques milliards de poids ou moins, souvent quantifiés en 4 bits, tournent sur les téléphones et ordis portables récents, même sans connexion Internet.
La quantification rend-elle un modèle moins bon ?
Un peu. Jusqu'à 8 ou 4 bits environ, la perte est en général faible, mais à très basse précision, comme 2 bits, les erreurs d'arrondi s'accumulent et les réponses peuvent se casser.
Termes associés