Come nascono gli LLM / Glossario

RLHF (apprendimento per rinforzo dal feedback umano)

L’RLHF, apprendimento per rinforzo dal feedback umano, è un metodo di addestramento che insegna a un modello quali risposte preferiscono le persone, usando molti confronti umani tra coppie di risposte.

Il modello scrive due o più risposte allo stesso prompt, e valutatori formati scelgono la migliore. Questi confronti addestrano un modello di ricompensa che dà voti alle risposte come farebbero i valutatori, e poi il modello principale viene regolato per ottenere voti più alti.

Nello studio InstructGPT le persone preferivano le risposte di un modello da 1,3 miliardi di parametri addestrato così a quelle di GPT-3 da 175 miliardi. L’obiettivo si riassume spesso in un assistente utile, onesto e innocuo.

L’RLHF ha effetti collaterali. Dato che alle persone piacciono le risposte accomodanti, i modelli addestrati con feedback umano possono diventare compiacenti e dare ragione agli utenti anche quando sbagliano. Metodi più recenti imparano dagli stessi confronti in modo più diretto o affiancano feedback dell’IA ai voti umani.