Come nascono gli LLM / Glossario

Quantizzazione

La quantizzazione rende un modello di IA più piccolo e veloce salvando ognuno dei suoi pesi con meno bit, per esempio 4 invece di 16, accettando un piccolo errore di arrotondamento.

Ogni peso è un numero, e salvarlo con precisione occupa spazio. La quantizzazione arrotonda i pesi a un insieme più piccolo di valori. Un modello con 7 miliardi di pesi richiede circa 14 GB a 16 bit per peso, e circa 3,5 GB a 4 bit.

Fatta con cura, costa sorprendentemente poca qualità: i ricercatori hanno fatto girare modelli fino a 175 miliardi di parametri con pesi a 8 bit senza perdere prestazioni. Arrotondare troppo, a pochissimi bit, comincia invece a far danni.

La quantizzazione è uno dei motivi principali per cui modelli capaci oggi girano su portatili e telefoni. Spesso si combina con la distillazione, che addestra un modello più piccolo a copiarne uno più grande.