Come nascono gli LLM / Glossario

Discesa del gradiente

La discesa del gradiente è il metodo con cui si addestra la maggior parte dei modelli di IA: calcola per ogni peso quale direzione abbassa la loss, poi sposta tutti i pesi di un piccolo passo in quella direzione, ancora e ancora.

Immagina di essere su una collina nella nebbia e di voler arrivare a valle. Senti da che parte scende il terreno e fai un piccolo passo in discesa. La discesa del gradiente fa lo stesso con la loss, su miliardi di pesi insieme.

La pendenza per ogni peso si calcola con la retropropagazione (backpropagation), un metodo reso famoso da un articolo del 1986 su Nature. La lunghezza di ogni passo si chiama tasso di apprendimento (learning rate): troppo grande e l’addestramento diventa instabile, troppo piccolo e procede lentissimo.

I grandi modelli linguistici si addestrano di solito con Adam o una sua variante, una forma raffinata di discesa del gradiente che adatta la lunghezza del passo per ogni peso. In genere il tasso di apprendimento sale all’inizio dell’addestramento e poi cala nel tempo.