Cosa sono le leggi di scala nell’IA?
Le leggi di scala sono schemi che mostrano come la loss di un modello linguistico scende in modo prevedibile quando aggiungi parametri, dati di addestramento e calcolo. Dicono anche ai laboratori come dividere un budget di calcolo fisso: un noto studio del 2022 ha trovato i risultati migliori con circa 20 token di addestramento per parametro, facendo crescere insieme modello e dati.
▶ Prova tu
Perché è importante
Addestrare un grande modello costa una fortuna in chip ed elettricità, quindi i laboratori lo pianificano prima con le leggi di scala. La sorpresa: con un budget fisso, il modello più grande non è il migliore.
In 6 minuti saprai
- La qualità di un modello dipende da tre ingredienti che crescono: dati, parametri e calcolo.
- Con un budget fisso, un modello gigante con pochi dati va peggio di uno bilanciato.
- Le leggi di scala permettono ai laboratori di prevedere grandi addestramenti partendo da esperimenti piccoli ed economici.
Cosa eserciterai
Tre cose che crescono
Smista ogni riga del piano di addestramento di Vireo nell’ingrediente che fa crescere.
- 15.000 miliardi di token di testo → Dati
- Strati più larghi, e più numerosi → Parametri
- Migliaia di chip accesi per mesi → Calcolo
- 70 miliardi di pesi → Parametri
- Aggiungere libri, codice e altre pagine web → Dati
- Una bolletta della luce da record → Calcolo
Spendi il budget di calcolo
Trascina il cursore per dividere il budget tra dimensione del modello e dati di addestramento. Trova la loss più bassa, poi conferma.
Stesso budget, due modi di spenderlo: un modello più grande, o più testo su cui addestrarlo. Sposta il cursore per provare divisioni diverse e guarda la loss prevista. Più bassa è, meglio è.
- Budget 1×: La divisione migliore qui: 1 Mld parametri su 20 Mld token.
- Budget 10×: La divisione migliore qui: 3,2 Mld parametri su 63 Mld token.
- Budget 100×: La divisione migliore qui: 10 Mld parametri su 200 Mld token.
≈ 20 token di addestramento per parametro Esempio: una formula tipo Chinchilla, non misure reali
Pianifica il prossimo addestramento di Vireo
Stesso budget, due piani. Quale modello verrà probabilmente meglio?
- Un modello grande un quarto, addestrato su 4× più testo (Risposta)
- Il modello più grande che il budget permette, con il testo che resta
Vireo Labs addestra un modello piccolo con molto più di 20 token per parametro. Perché può essere una scelta furba?
- I modelli piccoli costano meno da usare per milioni di utenti, quindi l’addestramento extra ripaga (Risposta)
- È un errore, più di 20 token per parametro non possono aiutare
Cosa permettono di fare le leggi di scala a un laboratorio, prima di spendere mesi di calcolo?
- Prevedere più o meno quanto sarà buono un modello più grande partendo da piccoli test (Risposta)
- Garantire esattamente quali abilità avrà il modello
Ricorda
Con un budget di calcolo fisso, fai crescere insieme il modello e i suoi dati. Il punto ideale classico è circa 20 token di addestramento per parametro.
Con un budget fisso, fai crescere insieme modello e dati: circa 20 token di addestramento per parametro.
Dati chiave
- La loss dei modelli linguistici scende in modo regolare e prevedibile, seguendo leggi di potenza, quando crescono dimensione del modello, dati e calcolo. · Fonte: Kaplan et al., Scaling Laws for Neural Language Models, OpenAI, 2020
- Con un budget di calcolo fisso, i risultati migliori arrivavano facendo crescere allo stesso modo dimensione del modello e token di addestramento, circa 20 token per parametro. · Fonte: Hoffmann et al., Training Compute-Optimal Large Language Models, DeepMind, 2022
- Chinchilla, con 70 miliardi di parametri e addestrato su 1.400 miliardi di token, ha superato Gopher da 280 miliardi di parametri, che aveva lo stesso budget di calcolo. · Fonte: Hoffmann et al., DeepMind, 2022
- GPT-3, con 175 miliardi di parametri, è stato addestrato su circa 300 miliardi di token: meno di 2 token per parametro. · Fonte: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- Llama 3 è stato pre-addestrato su oltre 15.000 miliardi di token, molto più di 20 per parametro anche per il suo modello più grande. · Fonte: Meta, The Llama 3 Herd of Models, 2024
Aggiornato:
Domande frequenti
Cos’è la legge di scala di Chinchilla?
Un risultato del 2022: con una quantità fissa di calcolo per l’addestramento, dimensione del modello e dati devono crescere insieme. La regola pratica che ne è nata è circa 20 token di addestramento per ogni parametro.
I modelli di IA più grandi funzionano sempre meglio?
Non a parità di budget. Un modello più grande aiuta solo se riceve anche abbastanza dati di addestramento. Un modello più piccolo addestrato su più testo può battere uno molto più grande ma sotto-addestrato.
Cosa vuol dire «calcolo» nell’addestramento dell’IA?
Il numero totale di operazioni usate per addestrare un modello. Si paga in chip specializzati, nel tempo in cui restano accesi e nell’elettricità che consumano.
Perché i laboratori addestrano modelli piccoli su così tanti dati?
I modelli piccoli costano meno e sono più veloci da usare per ogni utente. Addestrarli su molti più dati della quantità ottimale per il calcolo spreme qualità in più, che ripaga su milioni di utilizzi.
Termini correlati