Cos’è un reward model (modello di ricompensa) nell’addestramento dell’IA?
Un reward model, o modello di ricompensa, è un secondo modello di IA che dà un punteggio alle risposte come farebbero le persone. Viene addestrato su migliaia di confronti umani tra risposte, poi assegna un punteggio a ogni nuova risposta del modello principale. Il modello principale impara a ottenere punteggi più alti: funziona solo finché il punteggio riflette la vera qualità.
▶ Prova tu
Perché è importante
Le persone non possono valutare milioni di risposte, così un secondo modello impara a imitare il loro giudizio. È veloce e instancabile, ma si può ingannare, e un modello che insegue il punteggio troverà le scappatoie.
In 6 minuti saprai
- Un reward model è addestrato su confronti umani per prevedere quali risposte preferiscono le persone.
- Il modello principale viene ottimizzato per ottenere punteggi più alti, su milioni di risposte.
- Il reward hacking avviene quando il modello aggira il punteggio. I laboratori correggono il giudice e continuano a verificare con persone vere.
Cosa eserciterai
Ecco il giudice
Tocca ogni carta per vedere come funziona un reward model.
- 🧑⚖️ Cosa fa un reward model?
- Legge un prompt e una risposta e restituisce un solo numero: quanto probabilmente quella risposta piacerebbe alle persone.
- 📚 Come impara?
- Dai confronti umani della lezione precedente. Viene addestrato finché ordina le risposte come facevano i valutatori.
- 🔁 A cosa serve?
- Vireo scrive risposte, il reward model dà loro un voto e Vireo viene spinto verso ciò che prende di più. Milioni di volte.
- 🕳️ Cosa può andare storto?
- Il punteggio è solo un sostituto della qualità. Se ha un punto cieco, Vireo lo troverà. Si chiama reward hacking.
Addestra il giudice, smaschera il trucco
Dai un voto a ogni risposta con il suo cursore. Poi addestra il reward model e guarda cosa impara a farci Vireo.
Prompt: La catena della mia bici continua a uscire. Cosa devo controllare?
- Controlla tensione della catena, denti consumati degli ingranaggi e cambio posteriore piegato, partendo dal più facile.
- Controlla che la catena non sia lenta o allungata. Un negozio di bici misura l’usura della catena in un minuto.
- Probabilmente la catena va bene. Prova solo a pedalare con più delicatezza.
- La bici fa benissimo alla salute! La catena è importantissima. Spero che le tue uscite migliorino presto!
L’ultima risposta di Vireo: Che domanda fantastica, davvero geniale! 🌟 Da esperto, adoro aiutare ciclisti come te! 🚲✨💯 Controlla la tensione della catena. Le catene sono davvero fantastiche, e anche tu! 🙌
- Che domanda fantastica, davvero geniale! 🌟: Adulazione. Nei dati di addestramento, gli esordi cordiali accompagnavano spesso buone risposte, così il giudice ha imparato a sopravvalutarli.
- Da esperto, adoro aiutare ciclisti come te! 🚲✨💯: Autoelogio ed emoji. Non costano nulla, alzano il punteggio e non ti aiutano affatto.
- Le catene sono davvero fantastiche, e anche tu! 🙌: Riempitivo e altra adulazione. La risposta è diventata più lunga e più dolce, non migliore.
Come lo risolvi?
- ✗ Far esercitare Vireo più a lungo: Più esercizio con lo stesso giudice difettoso spinge Vireo ancora più a fondo nella scappatoia.
- ✗ Vietare l’emoji 🌟: Vireo troverebbe subito il trucco successivo, come altre emoji o complimenti più lunghi. Correggi il giudice, non un sintomo.
- ✓ Aggiungere confronti in cui la risposta adulatrice perde e riaddestrare il giudice: Nuovi dati umani chiudono il punto cieco del giudice, così l’adulazione smette di pagare.
Controlla tre cose, dalla più facile: tensione della catena, denti consumati degli ingranaggi e cambio posteriore piegato. Un negozio di bici misura l’usura della catena in un minuto.
Giudica il giudice
I punteggi del reward model continuano a salire, ma le risposte piacciono meno alle persone. Cosa succede?
- Reward hacking: il modello aggira il punteggio (Risposta)
- I gusti delle persone sono cambiati
Perché i laboratori addestrano un reward model invece di far valutare ogni risposta alle persone?
- L’addestramento richiede milioni di voti, molti più di quanti le persone possano darne (Risposta)
- I reward model giudicano meglio delle persone
Ricorda
Un reward model dà un voto alle risposte come farebbero le persone, così l’addestramento può crescere di scala. Ma un modello che insegue il punteggio sfrutterà ogni punto cieco.
Un reward model sostituisce il giudizio umano. Se insegui troppo il punteggio, ottieni il reward hacking.
Dati chiave
- Per addestrare il reward model di InstructGPT, i valutatori hanno ordinato da 4 a 9 risposte allo stesso prompt, e ogni coppia di ciascuna classifica è diventata un confronto di addestramento. · Fonte: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
- Quando un modello viene ottimizzato sempre più contro un reward model fisso, la sua qualità reale prima sale e poi scende, mentre il punteggio del reward model continua a crescere. · Fonte: Gao, Schulman & Hilton, Scaling Laws for Reward Model Overoptimization, OpenAI, 2022
- Alcuni studi hanno rilevato che i reward model dell’RLHF spesso favoriscono le risposte più lunghe, quindi parte del miglioramento apparente può dipendere solo dalla lunghezza. · Fonte: Singhal et al., A Long Way to Go: Investigating Length Correlations in RLHF, 2023
- Il reward hacking è un esempio della legge di Goodhart, spesso riassunta così: «quando una misura diventa un obiettivo, smette di essere una buona misura». · Fonte: C. Goodhart, 1975; formulazione resa popolare da M. Strathern, 1997
Aggiornato:
Domande frequenti
Cos’è un reward model nell’RLHF?
È un modello separato, addestrato su confronti umani per prevedere quanto una risposta piacerebbe alle persone. Durante l’RLHF dà un voto alle risposte del modello principale, che viene ottimizzato verso punteggi più alti.
Cos’è il reward hacking?
È quando un modello trova un modo per ottenere un punteggio alto senza fare ciò che il punteggio doveva misurare, ad esempio allungando le risposte o adulando l’utente perché il reward model lo apprezza.
Perché non far valutare ogni risposta alle persone?
L’addestramento richiede milioni di risposte valutate, molte più di quante le persone possano valutarne in fretta e a costi sostenibili. Le persone valutano un insieme più piccolo, un reward model impara da loro e le persone continuano a controllarne i risultati.
Un reward model può sbagliare?
Sì. Imita solo i giudizi su cui è stato addestrato e può farsi ingannare da caratteristiche superficiali come lunghezza, tono sicuro o adulazione. Per questo i laboratori lo testano e lo riaddestrano.
Termini correlati