Come nascono gli LLM / Glossario

Benchmark di IA

Un benchmark di IA è un insieme fisso di compiti con risposte verificabili, come domande d’esame, problemi di matematica o esercizi di programmazione, usato per misurare e confrontare le prestazioni dei modelli.

Tra i benchmark più noti ci sono MMLU, con domande a scelta multipla su 57 materie, HumanEval, con 164 problemi di programmazione verificati eseguendo dei test, e GSM8K, una raccolta di circa 8.500 problemi di matematica a parole di livello scolastico.

Un punteggio vale qualcosa solo in condizioni corrette. Se le domande del benchmark sono finite nei dati di addestramento, un problema chiamato contaminazione, il modello può semplicemente ricordare le risposte. E ogni modello va testato con gli stessi prompt e le stesse regole.

I benchmark si consumano: quando i modelli migliori si avvicinano al punteggio massimo, un test non riesce più a distinguerli, e ne arrivano di nuovi e più difficili. I laboratori aggiungono confronti umani alla cieca e test di sicurezza, perché un punteggio alto non dimostra che un modello sia utile o sicuro.