Come nascono gli LLM / Glossario

Fine-tuning

Il fine-tuning consiste nell’addestrare ancora un po’ un modello già pre-addestrato su un insieme più piccolo e mirato di esempi, così migliora in un compito o si comporta in un certo modo.

Il pre-addestramento dà a un modello conoscenze ampie; il fine-tuning gli dà forma. L’instruction tuning, chiamato anche fine-tuning supervisionato, addestra un modello base su richieste abbinate a risposte ideali scritte da persone, e trasforma chi continua testi in un assistente.

Il fine-tuning richiede molti meno dati del pre-addestramento. Addestrare un modello su molti compiti scritti come istruzioni lo ha reso migliore anche in compiti nuovi mai visti, e uno studio ha ottenuto un buon comportamento da assistente con appena 1.000 esempi scelti con cura.

Le aziende fanno anche fine-tuning dei modelli sui propri dati, per esempio per imitare uno stile di scrittura o un settore specialistico. Metodi più leggeri come LoRA addestrano solo un piccolo insieme di pesi in più, così il fine-tuning può girare su molto meno hardware.