Come nascono gli LLM / Glossario

Leggi di scala (scaling laws)

Le leggi di scala sono schemi che mostrano come la loss di un modello linguistico scende in modo regolare e prevedibile quando aggiungi parametri, dati di addestramento e calcolo. I laboratori le usano per decidere quanto grande costruire.

Una ricerca del 2020 ha scoperto che la loss segue semplici leggi di potenza: raddoppia la dimensione del modello, i dati o il calcolo e la loss cala di una quantità prevedibile. Così i laboratori potevano stimare quanto sarebbe stato buono un modello prima di spendere per addestrarlo.

Uno studio del 2022 ha affinato la ricetta: con un budget di calcolo fisso, fai crescere insieme il modello e i suoi dati, con circa 20 token di addestramento per parametro. Il suo modello Chinchilla da 70 miliardi di parametri, addestrato su 1.400 miliardi di token, ha battuto Gopher da 280 miliardi, che usava lo stesso budget.

Le leggi di scala prevedono la loss, non abilità specifiche, quindi alcune capacità sorprendono ancora. Molti modelli recenti si addestrano anche su molto più di 20 token per parametro, perché un modello più piccolo addestrato più a lungo costa meno da usare dopo.