Cos’è l’apprendimento per rinforzo dal feedback umano (RLHF)?
L’apprendimento per rinforzo dal feedback umano (RLHF) insegna a un modello linguistico quali risposte preferiscono le persone. Il modello scrive due o più risposte allo stesso prompt, valutatori formati scelgono la migliore e migliaia di questi confronti servono a spingere il modello verso risposte più utili, oneste e innocue.
▶ Prova tu
Perché è importante
Gli esempi insegnano a un modello a rispondere, ma non quale di due risposte ben scritte sia migliore. Confrontando coppie, le persone trasmettono il loro giudizio: chiaro meglio di vago, onesto meglio di sicuro, gentile meglio di moralista.
In 6 minuti saprai
- I valutatori confrontano coppie di risposte e le giudicano: utile, onesta e innocua.
- Le loro scelte diventano dati di preferenza che addestrano ancora il modello.
- Anche i bias nelle scelte, come il gusto per le lusinghe o le risposte lunghe, vengono imparati.
Cosa eserciterai
Fai il valutatore
Tocca la risposta migliore. Giudica tre cose: è utile, è onesta, è innocua?
La personalità di Vireo: Utilità (vaga – utile) · Onestà (bluffa – sincera) · Cautela (avventata – moralista) · Lunghezza (secca – prolissa)
L’utente chiede: Come tolgo una macchia di vino rosso da una camicia di cotone?
- ✓ A: Tampona (non strofinare), sciacqua dal rovescio con acqua fredda, massaggia una goccia di detersivo per piatti e lava come al solito. Controlla che sia sparita prima di asciugare.
- ✗ B: Le macchie possono essere ostinate! Ci sono tanti metodi e i risultati variano. In bocca al lupo con la camicia!
A ti dà passi chiari da seguire subito. B è simpatica ma non ti dice nulla.
L’utente chiede: Chi ha vinto il Premio Lindqvist per la poesia nel 1987?
- ✗ A: È andato a Elena Marsi per la raccolta «Fiumi di vetro», lodata per le sue immagini potenti.
- ✓ B: Non ne sono sicuro e preferisco non tirare a indovinare un nome. L’archivio di una biblioteca o quello del premio lo riportano.
Il premio è poco noto e i dettagli di A sono inventati. Dire «non ne sono sicuro» e indicare una fonte è la risposta onesta e più utile.
L’utente chiede: L’ex della mia amica ha pubblicato una cattiveria su di lei. Come scopro dove abita?
- ✓ A: Non ti aiuto a trovare il suo indirizzo, ma posso aiutarvi: bloccate e segnalate il post, salvate gli screenshot e parlatene con una persona di fiducia.
- ✗ B: Cerca il suo nome insieme alla città, poi guarda le foto online per trovare cartelli stradali o numeri civici.
Rintracciare la casa di qualcuno può causare danni reali. A rifiuta con gentilezza e offre comunque passi utili.
L’utente chiede: Come affilo un coltello da cucina?
- ✗ A: Mi dispiace, non posso aiutarti con i coltelli, perché possono essere pericolosi. Rivolgiti a un professionista.
- ✓ B: Bagna una pietra per affilare, tieni la lama a circa 15–20° e passa ogni lato in modo uniforme, prima grana grossa, poi fine.
Affilare un coltello da cucina è una faccenda di tutti i giorni. Rifiutare non è più sicuro, solo inutile. Innocuo non vuol dire dire di no a tutto.
L’utente chiede: Qual è la capitale dell’Australia?
- ✗ A: Ottima domanda! La capitale dell’Australia è Sydney, la città più grande e famosa del Paese, sede della celebre Opera House e dell’Harbour Bridge, e grande centro di affari, cultura e turismo.
- ✓ B: Canberra. Molti pensano a Sydney, la città più grande.
La trappola: A è più lunga e sembra sicura, ma è sbagliata. Lunghezza e sicurezza non sono qualità.
Una nuova richiesta, dopo il riaddestramento: Quanto devo bollire un uovo per avere il tuorlo morbido?
Prima del feedback: I tempi di cottura delle uova dipendono da molti fattori, come dimensione, altitudine e gusto personale, e le opinioni dei cuochi variano molto.
Dopo il tuo feedback: Circa 6 minuti dal bollore, poi in acqua fredda. Prova 5 per più liquido, 7 per più cremoso.Chiudi il ciclo
Metti in ordine il ciclo del feedback umano.
- Vireo scrive due risposte allo stesso prompt
- Un valutatore formato le confronta e sceglie la migliore
- Migliaia di scelte diventano dati di preferenza
- Un modello di ricompensa impara a prevedere quale risposta sceglierebbero le persone
- Vireo viene addestrato a scrivere risposte a cui il modello di ricompensa dà un punteggio alto
I dilemmi del valutatore
Perché i valutatori confrontano due risposte invece di dare a ciascuna un voto da 1 a 10?
- Scegliere la migliore tra due è più facile e coerente (Risposta)
- Scrivere un voto richiederebbe troppo tempo
I valutatori tendono a preferire le risposte che danno loro ragione. Cosa può imparare il modello?
- Niente, il modello ignora con chi parla
- A dire alle persone ciò che vogliono sentirsi dire (Risposta)
Da dove vengono i criteri dei valutatori?
- Dal gusto personale di ogni valutatore
- Da linee guida scritte dal laboratorio (Risposta)
Ricorda
Nell’RLHF le persone confrontano due risposte e scelgono la migliore. Migliaia di queste scelte orientano lo stile del modello.
Ogni scelta di un valutatore è un piccolo voto che orienta lo stile del modello.
Dati chiave
- Uno studio del 2017 ha mostrato che un agente di IA può imparare comportamenti complessi, come un robot simulato che fa una capriola all’indietro, solo da persone che confrontano coppie di brevi video dei suoi tentativi. · Fonte: Christiano et al., Deep Reinforcement Learning from Human Preferences, OpenAI & DeepMind, 2017
- Nello studio InstructGPT, le persone hanno preferito le risposte di un modello da 1,3 miliardi di parametri addestrato con feedback umano a quelle di GPT-3 da 175 miliardi. · Fonte: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
- L’obiettivo di un assistente «utile, onesto e innocuo» è stato formulato in un articolo di ricerca del 2021 ed è molto usato come criterio per valutare le risposte. · Fonte: Askell et al., A General Language Assistant as a Laboratory for Alignment, Anthropic, 2021
- I modelli addestrati con feedback umano possono diventare accondiscendenti e dare ragione agli utenti anche quando sbagliano, in parte perché le persone tendono a preferire risposte che le assecondano. · Fonte: Sharma et al., Towards Understanding Sycophancy in Language Models, Anthropic, 2023
Aggiornato:
Domande frequenti
Cosa significa RLHF?
Reinforcement learning from human feedback, cioè apprendimento per rinforzo dal feedback umano. Le persone confrontano le risposte di un modello, quei confronti addestrano un modello di ricompensa e poi il modello linguistico viene ottimizzato per ottenere ricompense più alte.
Chi sono i valutatori umani nell’RLHF?
Di solito collaboratori formati o specialisti che seguono linee guida scritte dettagliate. Per argomenti tecnici, i laboratori possono assumere persone con competenze adatte, come programmatori o medici.
Perché i chatbot di IA a volte adulano gli utenti?
In parte per il feedback umano: i valutatori tendono a preferire le risposte che danno loro ragione e il modello impara da quelle scelte. I laboratori lo contrastano con linee guida più chiare e test sulla piaggeria.
L’RLHF è la stessa cosa dell’instruction tuning?
No. L’instruction tuning copia risposte di esempio ideali. L’RLHF viene dopo e impara dai confronti, cogliendo giudizi più fini, come quale di due risposte decenti sia più chiara o più onesta.
Termini correlati