Vai al contenuto
IT

Lezione 3 di 6 · 6 min · +100 XP

Come si rende un modello linguistico abbastanza piccolo per uno smartphone?

Due trucchi principali rimpiccioliscono un modello linguistico. La quantizzazione salva ognuno dei suoi miliardi di pesi con meno bit, ad esempio 4 invece di 16, così il file diventa più volte più piccolo e veloce con poca perdita di qualità, finché l’arrotondamento non esagera. La distillazione allena un piccolo modello studente a copiare le risposte di un grande modello insegnante.

▶ Prova tu

Perché è importante

I modelli più grandi richiedono interi armadi di chip. Rimpicciolirli permette all’IA di girare su un portatile o uno smartphone, a costi minori, più veloce e anche offline, e spiega perché i modelli piccoli possono comunque essere bravi.

In 6 minuti saprai

  • La dimensione di un modello è soprattutto il numero di pesi per i bit usati per salvarli.
  • Fino a circa 4 bit la qualità di solito cala poco; molto più in basso le risposte si rompono.
  • I piccoli modelli sul dispositivo possono funzionare offline e tenere il tuo testo sul tuo dispositivo.

Cosa eserciterai

  1. Perché rimpicciolire un modello?

    Tocca ogni carta.

    📦 Quanto è grande un modello?
    Un modello è fatto di miliardi di numeri chiamati pesi. A 16 bit ciascuno, un modello con 7 miliardi di pesi occupa circa 14 GB.
    📱 Perché farlo girare sul dispositivo?
    Funziona offline, risponde senza passare da un server e il tuo testo può restare sul tuo dispositivo.
    ⚡ Perché più piccolo è più veloce?
    Per ogni token, il chip deve leggere i pesi dalla memoria. Meno byte da leggere significa più token al secondo.
    💸 Perché interessa ai laboratori?
    Servire milioni di persone costa chip ed elettricità. Un modello più piccolo che risponde quasi altrettanto bene costa molto meno.

  2. Rimpicciolisci Vireo per uno smartphone

    Abbassa la precisione e guarda pesi, dimensione e qualità. Spedisci quando entra e funziona ancora. Dimensioni, velocità e punteggi sono illustrativi.

    Vireo · 7B

    • 32 bit: 28 GB · 2 tok/s · Qualità 100% · La capitale dell’Australia è Canberra.
    • 16 bit: 14 GB · 5 tok/s · Qualità 100% · La capitale dell’Australia è Canberra.
    • 8 bit: 7 GB · 9 tok/s · Qualità 99% · La capitale dell’Australia è Canberra.
    • 4 bit: 3,5 GB · 16 tok/s · Qualità 96% · La capitale australiana è Canberra.
    • 2 bit: 1,75 GB · 21 tok/s · Qualità 38% · La capitale capitale dell’Austral è è Sydberra berra

    Vireo Mini · 1B

    • 32 bit: 4 GB · 12 tok/s · Qualità 89% · Canberra è la capitale dell’Australia.
    • 16 bit: 2 GB · 24 tok/s · Qualità 89% · Canberra è la capitale dell’Australia.
    • 8 bit: 1 GB · 44 tok/s · Qualità 88% · Canberra è la capitale dell’Australia.
    • 4 bit: 0,5 GB · 70 tok/s · Qualità 85% · Canberra è la capitale australiana.
    • 2 bit: 0,25 GB · 84 tok/s · Qualità 31% · Canberra la la di capitale Aus Aus

    1. Fai entrare Vireo nei 4 GB liberi dello smartphone, con una qualità del 90% o più.

      ✓ 4 bit per peso: un ottavo della dimensione originale e quasi altrettanto bravo. Ecco perché i modelli a 4 bit sono così diffusi su portatili e smartphone.

    2. Anche a 2 bit, il modello 7B pesa 1,75 GB, ed è rotto. Come ottieni un modello molto più piccolo che risponda ancora bene?

      • ✓ Allenare un piccolo studente a copiare le risposte del modello grande: È la distillazione. Lo studente impara dalle probabilità complete dell’insegnante per ogni parola, non solo giusto o sbagliato, quindi impara molto da poco.
      • ✗ Eliminare a caso gran parte degli strati del modello grande: Tagliare strati a caso distrugge ciò che il modello ha imparato. La distillazione conserva le conoscenze insegnandole apposta a un modello più piccolo.
      • ✗ Addestrare da zero un modello piccolo su pochissimi dati: Un modello piccolo addestrato da solo su pochi dati impara molto meno. Copiare le risposte di un grande insegnante gli dà un vantaggio.

      Uno smartphone più economico ha solo 0,8 GB liberi. Spedisci lo studente con una qualità dell’80% o più.

      ✓ Distillazione, poi quantizzazione: un modello partito da 28 GB ora risponde bene in mezzo gigabyte. I laboratori combinano spesso i due trucchi.

  3. Quale trucco è?

    È quantizzazione, distillazione, o rende il modello più grande?

    • Salvare ogni peso con 4 bit invece di 16 → Quantizzazione
    • Un modello 1B addestrato sulle risposte di un modello 70B → Distillazione
    • Arrotondare 0,73914 a 0,74 per ogni peso → Quantizzazione
    • Aggiungere il doppio degli strati → Lo ingrandisce
    • Copiare le probabilità dell’insegnante per ogni parola successiva → Distillazione
    • Addestrare su dieci volte più testo con più pesi → Lo ingrandisce

Ricorda

La quantizzazione arrotonda ogni peso a meno bit; la distillazione insegna a un modello piccolo a copiarne uno grande. Entrambe fanno entrare l’IA in dispositivi più piccoli.

Arrotondare i pesi a meno bit rimpicciolisce molto un modello con poca perdita, finché non si esagera. Un modello studente può imparare da un insegnante.

Dati chiave

  • La distillazione della conoscenza, cioè addestrare un modello piccolo sugli output «ammorbiditi» di uno grande, è stata resa popolare da un articolo del 2015. · Fonte: Hinton, Vinyals and Dean, Distilling the Knowledge in a Neural Network, Google, 2015
  • DistilBERT era più piccolo del 40% e più veloce del 60% rispetto al modello BERT da cui aveva imparato, conservando il 97% della sua comprensione del linguaggio. · Fonte: Sanh et al., DistilBERT, Hugging Face, 2019
  • Salvare i pesi a 8 bit ha permesso ai ricercatori di far girare modelli fino a 175 miliardi di parametri senza perdita di prestazioni. · Fonte: Dettmers et al., LLM.int8(), 2022
  • Con pesi a 4 bit, i ricercatori hanno fatto il fine-tuning di un modello da 65 miliardi di parametri su una sola scheda grafica da 48 GB. · Fonte: Dettmers et al., QLoRA, 2023
  • Un modello con 7 miliardi di pesi richiede circa 14 GB a 16 bit per peso, e circa 3,5 GB a 4 bit.

Aggiornato:

Domande frequenti

Cos’è la quantizzazione negli LLM?

La quantizzazione salva i pesi di un modello con meno bit, ad esempio 4 invece di 16. Il modello diventa più volte più piccolo e veloce, di solito con solo un piccolo calo di qualità.

Cos’è la distillazione di un modello?

La distillazione allena un piccolo modello studente a imitare gli output di un grande modello insegnante, compresa la probabilità che assegna a ogni possibile parola successiva. Lo studente diventa molto più bravo di un piccolo modello addestrato da solo.

Si può far girare un LLM su uno smartphone?

Sì. Modelli piccoli, con pochi miliardi di pesi o meno e spesso quantizzati a 4 bit, possono girare su smartphone e portatili moderni, anche senza connessione a internet.

La quantizzazione peggiora un modello?

Un po’. Fino a circa 8 o 4 bit la perdita di solito è piccola, ma a precisione molto bassa, come 2 bit, gli errori di arrotondamento si accumulano e le risposte possono rompersi.

Termini correlati