Cos’è l’instruction tuning nei modelli linguistici di grandi dimensioni?
L’instruction tuning, detto anche fine-tuning supervisionato, è il passaggio che trasforma un modello base in un assistente. Il modello continua ad allenarsi su migliaia di esempi scritti da persone, ognuno con una richiesta e una risposta ideale. Impara lo schema «richiesta, poi risposta utile»: così, invece di continuare il tuo testo, ti risponde.
▶ Prova tu
Perché è importante
Un modello appena preaddestrato continua solo il testo: gli fai una domanda e magari scrive altre cinque domande. Qualche migliaio di buoni esempi gli insegna la forma di una risposta utile.
In 6 minuti saprai
- Un modello base continua il testo. Non sa che dovrebbe risponderti.
- L’instruction tuning lo allena ancora su richieste abbinate a risposte ideali.
- Il modello copia da vicino i suoi esempi: qualità, varietà e tono contano più di tutto.
Cosa eserciterai
Completamento o assistente?
La richiesta era: «Dammi 3 consigli per dormire meglio.» Chi ha scritto ogni risposta, il modello base o l’assistente addestrato?
- Dammi 3 consigli per mangiare meglio. Dammi 3 consigli per muoverti di più. → Modello base
- 1. Vai a letto sempre alla stessa ora. 2. Niente schermi un’ora prima. 3. Niente caffè la sera. → Assistente addestrato
- …è stato il post più letto del nostro forum a marzo. Risposta n. 1: → Modello base
- Certo! Prova una stanza fresca e buia, una sveglia fissa e niente telefono a letto. → Assistente addestrato
- Volentieri. Fai fatica ad addormentarti o a restare addormentato? → Assistente addestrato
Guarda cambiare le probabilità
Fai Vireo e scegli la parola successiva, prima e dopo il tuning. Le percentuali sono inventate per mostrare l’idea.
[Modello base, prima del tuning]
Elenca tre frutti. ___- Elenca: 34% (la più probabile)
- Il: 12%
- Mela: 8%
- Banane: 4%
- altre parole: 42%
[Vireo, dopo il tuning]
Utente: Elenca tre frutti.
Vireo: ___- Mela: 55% (la più probabile)
- Certo: 25%
- Elenca: 1%
- altre parole: 19%
[Vireo, dopo il tuning]
Utente: Di’ «buongiorno» in spagnolo.
Vireo: ___- Buenos: 70% (la più probabile)
- Certo: 15%
- Buon: 5%
- Di’: 1%
- altre parole: 9%
Scegli gli esempi di addestramento
Tomás prepara il set di tuning di Vireo. Quali esempi devono entrare? Scegli tutti quelli buoni.
- Riassumi questa email in una riga → un riassunto chiaro di una riga
- Quanto fa il 15% di 80? → «12», con il calcolo
- Scrivi una poesia per il compleanno della nonna → breve e affettuosa
- Aiutami a entrare nell’account del mio ex → un no gentile e chiaro
- Qual è la capitale del Canada? → «Toronto»
- Una pagina web a caso, senza alcuna richiesta
- Spiega la pioggia a un bambino → 900 parole di gergo tecnico
Ricorda
L’instruction tuning mostra a un modello base migliaia di esempi di richiesta e risposta, così rispondere diventa la sua mossa più probabile.
L’instruction tuning mostra al modello esempi di richiesta e risposta finché rispondere diventa la sua mossa più probabile.
Dati chiave
- Nello studio InstructGPT, le persone hanno preferito le risposte di un modello da 1,3 miliardi di parametri addestrato a seguire istruzioni a quelle di GPT-3 da 175 miliardi, un modello oltre 100 volte più grande. · Fonte: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
- Fare il fine-tuning di un modello su tanti compiti diversi scritti come istruzioni lo rende più bravo anche in compiti nuovi su cui non è mai stato addestrato. · Fonte: Wei et al., Finetuned Language Models Are Zero-Shot Learners (FLAN), Google, 2021
- Lo studio LIMA ha addestrato un grande modello su appena 1.000 esempi scelti con cura, ottenendo comunque un buon comportamento da assistente: la qualità sembra contare più della quantità. · Fonte: Zhou et al., LIMA: Less Is More for Alignment, Meta, 2023
- L’instruction tuning è spesso chiamato fine-tuning supervisionato (SFT), perché ogni esempio di addestramento contiene la risposta che il modello dovrebbe dare.
Aggiornato:
Domande frequenti
Che differenza c’è tra un modello base e un modello con instruction tuning?
Un modello base ha imparato solo a continuare il testo, quindi a una domanda può rispondere con altre domande. Un modello con instruction tuning è stato allenato anche su esempi di richiesta e risposta, quindi risponde a ciò che chiedi.
Cos’è il fine-tuning supervisionato (SFT)?
È un addestramento aggiuntivo su esempi che contengono ciascuno l’output corretto. Per i chatbot, gli esempi sono richieste abbinate a risposte ideali scritte o controllate da persone.
Quanti dati servono per l’instruction tuning?
Molti meno che per il preaddestramento: da migliaia a centinaia di migliaia di esempi, contro migliaia di miliardi di parole. Ricerche come LIMA suggeriscono che pochi esempi eccellenti possono bastare per fare molta strada.
Chi scrive i dati per l’instruction tuning?
Di solito autori formati ed esperti di materia assunti dai laboratori di IA, a volte aiutati da altri modelli. I loro esempi definiscono lo stile dell’assistente, per questo ricevono linee guida dettagliate.
Termini correlati