Come nascono gli LLM / Glossario

Allineamento dell’IA

L’allineamento dell’IA è il lavoro per far corrispondere il comportamento di un sistema di IA a ciò che le persone intendono e considerano importante: utile nelle richieste di tutti i giorni, onesto su ciò che sa e attento a evitare danni.

Un modello pre-addestrato copia schemi da internet, belli e brutti. L’addestramento all’allineamento aggiunge regole scritte su come il modello deve comportarsi e lo addestra su esempi e valutazioni che le seguono, con metodi come il fine-tuning e l’RLHF.

La parte difficile è l’equilibrio. Un modello che rifiuta troppo poco può aiutare a fare danni, uno che rifiuta troppo diventa inutile: i ricercatori hanno creato set di test per scoprire i modelli che rifiutano domande innocue. Alcuni team addestrano modelli di ricompensa separati per l’utilità e per la sicurezza, perché le due cose possono tirare in direzioni diverse.

Altri approcci fanno criticare e rivedere a un modello le proprie risposte secondo un elenco scritto di principi. L’allineamento non è mai finito: il red teaming e il monitoraggio dopo il lancio continuano a trovare nuove lacune da correggere.