Come nascono gli LLM / Glossario

Pre-addestramento (pretraining)

Il pre-addestramento è la prima e più grande fase della costruzione di un modello linguistico: il modello legge un’enorme quantità di testo e impara prevedendo il token successivo, ancora e ancora, senza etichette fatte da persone.

Durante il pre-addestramento il modello vede testo vero con il token successivo nascosto, prova a indovinarlo, controlla la risposta vera e corregge un poco i suoi pesi. Le risposte le fornisce il testo stesso, quindi nessuno deve etichettare niente.

Ripetuto su migliaia di miliardi di token, questo gioco semplice costringe il modello a imparare grammatica, fatti, stili di scrittura, schemi di ragionamento e codice. Llama 3, per esempio, è stato pre-addestrato su oltre 15.000 miliardi di token.

Il pre-addestramento usa la maggior parte della potenza di calcolo spesa per un modello e gli dà la maggior parte delle sue conoscenze. Il risultato è un modello base che continua bene i testi ma non segue ancora le istruzioni; poi arrivano il fine-tuning e l’addestramento con feedback.