Come nascono gli LLM / Glossario

Distillazione della conoscenza

La distillazione della conoscenza addestra un piccolo modello «studente» a copiare le risposte di un grande modello «insegnante», così lo studente conserva gran parte delle abilità dell’insegnante con una frazione delle dimensioni.

Lo studente non impara solo la risposta preferita dell’insegnante. Impara tutta la sua distribuzione di probabilità, come «probabilmente gatto, un po’ cane, non auto», che contiene più informazioni di una sola risposta giusta.

L’idea è stata resa famosa da un articolo del 2015. Un esempio noto, DistilBERT, era più piccolo del 40% e più veloce del 60% rispetto al modello da cui aveva imparato, e conservava il 97% della sua comprensione del linguaggio.

Molti modelli linguistici piccoli e veloci di oggi sono addestrati in parte su risposte scritte da modelli più grandi. La distillazione si combina spesso con la quantizzazione per far stare i modelli su telefoni e portatili.