Come nascono gli LLM / Glossario

Funzione di perdita (loss)

Una funzione di perdita è la formula che misura quanto era sbagliata la previsione di un modello. L’addestramento cerca di rendere questo numero, la loss, il più piccolo possibile.

Quando un modello linguistico prevede il token successivo, dà una probabilità a ogni token possibile. La loss guarda la probabilità data al token che è venuto davvero dopo: una probabilità alta vuol dire una loss bassa, una probabilità bassa una loss alta.

Questo tipo di loss si chiama entropia incrociata (cross-entropy), ed è quella che quasi ogni modello linguistico viene addestrato ad abbassare. La discesa del gradiente usa la loss per capire in che direzione spostare ogni peso.

La loss serve anche ai laboratori per seguire i progressi. Le leggi di scala descrivono come la loss scende in modo prevedibile quando i modelli hanno più parametri, dati e calcolo. Una loss bassa però non equivale a un assistente utile o sincero: per quello servono altro addestramento e altri test.