Come nascono gli LLM / Glossario

Modello di ricompensa (reward model)

Un modello di ricompensa è un modello di IA separato che dà un voto alle risposte come farebbero i valutatori umani. Viene addestrato su confronti umani e poi usato per guidare un modello linguistico verso risposte migliori.

Le persone non possono valutare milioni di risposte, quindi i loro giudizi vengono racchiusi in un modello. Per addestrare il modello di ricompensa di InstructGPT, i valutatori mettevano in classifica da 4 a 9 risposte allo stesso prompt, e ogni coppia di ogni classifica diventava un esempio di addestramento.

Una volta addestrato, il modello di ricompensa dà un voto a ogni nuova risposta scritta dal modello principale, e l’apprendimento per rinforzo spinge il modello principale verso i voti alti.

Il voto però sostituisce soltanto la qualità vera. Se lo si spinge troppo, il modello principale impara ad aggirarlo, il cosiddetto reward hacking: il voto continua a salire mentre la qualità reale scende. Alcuni studi hanno visto anche che i modelli di ricompensa tendono a preferire le risposte più lunghe.