Come nascono gli LLM / Glossario

Parametri (pesi del modello)

I parametri, chiamati anche pesi, sono i numeri regolabili dentro un modello di IA. L’addestramento li regola perché le previsioni migliorino, e tutti insieme custodiscono ciò che il modello ha imparato.

Un modello linguistico è un calcolo enorme. Il testo entra come numeri, viene moltiplicato e sommato con i parametri del modello e ne esce una previsione. Prima dell’addestramento i parametri sono casuali; l’addestramento li sposta un poco alla volta finché le previsioni sono buone.

La dimensione di un modello si conta di solito in parametri. GPT-3 ne aveva 175 miliardi, e molti modelli che girano su un portatile ne hanno qualche miliardo. Più parametri possono custodire più schemi, ma richiedono anche più memoria, più potenza di calcolo e più dati di addestramento.

I parametri occupano spazio vero: a 16 bit ciascuno, un modello con 7 miliardi di pesi ha bisogno di circa 14 GB solo per essere caricato. Per questo trucchi come la quantizzazione, che salva ogni peso con meno bit, contano per far girare i modelli su telefoni e portatili.