Come si testano e si valutano i modelli linguistici di IA?
I nuovi modelli linguistici vengono testati sui benchmark: insiemi fissi di domande con risposte verificabili, come problemi di matematica, compiti di programmazione con test o esami a scelta multipla. I laboratori aggiungono test di sicurezza e confronti alla cieca fatti da persone. Un punteggio conta solo se le domande non erano nei dati di addestramento e ogni modello è testato con le stesse regole.
▶ Prova tu
Perché è importante
Ogni lancio arriva con grandi numeri. Sapere come funzionano i test ti permette di distinguere un vero miglioramento da un test «bucato» o da un confronto scorretto.
In 6 minuti saprai
- I benchmark sono insiemi fissi di domande con risposte verificabili, dalla matematica alla programmazione alla sicurezza.
- I punteggi ingannano quando le domande sono finite nell’addestramento o le regole cambiano tra un modello e l’altro.
- Cerca confronti alla cieca, risultati esterni e test su compiti simili ai tuoi.
Cosa eserciterai
Test affidabile o test bucato?
Ti puoi fidare del punteggio di questo test?
- Domande scritte dopo la raccolta dei dati di addestramento del modello → Test affidabile
- Un test di matematica pubblicato online anni fa, con le soluzioni → Punteggio inaffidabile
- Compiti di programmazione verificati eseguendo davvero il codice → Test affidabile
- Il team ritocca il modello finché non stravince proprio questo test → Punteggio inaffidabile
- Le persone confrontano due risposte senza sapere quale modello le ha scritte → Test affidabile
- Il nostro modello ha 10 tentativi per domanda, il rivale 1 → Punteggio inaffidabile
Verifica le promesse di lancio
Halcyon AI, un laboratorio rivale inventato, ha appena annunciato Halcyon 2. Scegli il controllo giusto per ogni affermazione, guarda cosa emerge, poi metti il timbro.
Tu: Cosa c’è di nuovo in Halcyon 2?
Halcyon AI: Ecco Halcyon 2, il nostro modello migliore di sempre!Ottiene il 92% su MathBench, un test pubblico di 1.000 problemi di matematica scolastica.Batte Vireo 3 nella programmazione: 71% contro 64%.Nei test alla cieca, le persone hanno preferito le sue risposte 6 volte su 10.È il modello più sicuro mai creato.Ottiene l’89% su un nuovo set di domande scritte dopo la fine del suo addestramento.Provalo oggi!- Ottiene il 92% su MathBench, un test pubblico di 1.000 problemi di matematica scolastica.
Cerca fughe di dati · Leggi i dettagli del test · Un test pubblico molto diffuso può essere finito sul web, e da lì nei dati di addestramento. Controlla prima questo.
Report tecnico di Halcyon 2 · sezione dati: MathBench è online dal 2021 e i dati di addestramento includono pagine di forum che ne copiano domande e risposte.
→ Fuorviante: Se il modello ha visto domande e risposte durante l’addestramento, il 92% può essere memoria più che capacità matematica.
- Batte Vireo 3 nella programmazione: 71% contro 64%.
Confronta alla pari · Leggi i dettagli del test · Due punteggi affiancati significano qualcosa solo se entrambi i modelli hanno fatto il test nello stesso modo.
Report tecnico di Halcyon 2 · nota 4: Halcyon 2 aveva 10 tentativi per compito, contato come risolto se uno qualsiasi passava. Il 64% di Vireo 3 è con un solo tentativo.
→ Fuorviante: Dieci tentativi contro uno non è una gara equa. Con le stesse regole, il distacco potrebbe ridursi o sparire.
- Nei test alla cieca, le persone hanno preferito le sue risposte 6 volte su 10.
Cerca risultati esterni · Leggi i dettagli del test · Le affermazioni sulle preferenze sono facili da verificare se anche altri hanno fatto il confronto. Cerca risultati indipendenti.
Un sito di valutazione indipendente · voti alla cieca: 4.200 voti alla cieca: la risposta di Halcyon 2 è stata preferita nel 58% dei confronti.
→ Regge: Alla cieca, con tanti voti, gestito da altri, e 58% è vicino a quanto dichiarato. Questa regge.
- È il modello più sicuro mai creato.
Buon senso · Leggi i dettagli del test · Un’affermazione così ampia e senza numeri dovrebbe farti riflettere. Quale test potrebbe mai dimostrare «mai»?
Report tecnico di Halcyon 2 · sezione sicurezza: Nessun test di sicurezza citato, nessun punteggio, nessun tester esterno.
→ Non verificabile: Niente dimostra che sia falsa, ma niente la sostiene. Senza test e risultati dichiarati, non si può verificare.
- Ottiene l’89% su un nuovo set di domande scritte dopo la fine del suo addestramento.
Leggi i dettagli del test · Cerca fughe di dati · Leggi come è stato creato il test: chi ha scritto le domande, quando, e se sono pubbliche.
Report tecnico di Halcyon 2 · sezione valutazione: Domande scritte da esperti incaricati dopo la raccolta dei dati di addestramento e tenute riservate.
→ Regge: Domande nuove e riservate non possono essere finite nell’addestramento. È questo che rende equo un test.
- Ottiene il 92% su MathBench, un test pubblico di 1.000 problemi di matematica scolastica.
Leggere la pagella
Ormai ogni nuovo modello supera il 95% in un vecchio esame. Cosa ti dice?
- L’esame è diventato troppo facile per distinguere i modelli (Risposta)
- Ormai l’IA sa fare alla perfezione tutto ciò che copre l’esame
Perché alcuni autori di test tengono segrete le domande?
- Perché non finiscano nei dati di addestramento (Risposta)
- Perché nessuno possa criticare le domande
Vireo stravince un difficile benchmark di programmazione. Cosa dovresti verificare prima di affidargli il tuo progetto?
- Come se la cava con compiti come i tuoi, e testa il suo codice (Risposta)
- Niente: il benchmark l’ha già dimostrato
Ricorda
Un punteggio di benchmark vale quanto il test: domande nuove, stesse regole per ogni modello e risultati che altri possono verificare.
Un punteggio vale quanto il test: domande nuove, stesse regole per tutti e risultati che altri possono verificare.
Dati chiave
- MMLU, un benchmark di conoscenze molto usato, contiene domande a scelta multipla su 57 materie, dalla matematica al diritto. · Fonte: Hendrycks et al., Measuring Massive Multitask Language Understanding, ICLR 2021
- HumanEval testa la programmazione con 164 problemi scritti a mano, ognuno verificato eseguendo test unitari sul codice del modello. · Fonte: Chen et al., Evaluating Large Language Models Trained on Code, OpenAI, 2021
- GSM8K è un insieme di circa 8.500 problemi di matematica da scuola elementare e media, usato per testare il ragionamento passo dopo passo. · Fonte: Cobbe et al., Training Verifiers to Solve Math Word Problems, OpenAI, 2021
- L’articolo su GPT-3 ha verificato quante domande dei benchmark fossero finite nei dati di addestramento, un problema chiamato contaminazione. · Fonte: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- Chatbot Arena classifica i modelli con voti alla cieca raccolti dal pubblico: le persone confrontano due risposte anonime e scelgono la migliore. · Fonte: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, 2023
Aggiornato:
Domande frequenti
Cos’è un benchmark per LLM?
Un benchmark è un insieme fisso di compiti con risposte verificabili, come domande d’esame, problemi di matematica o compiti di programmazione. Far girare modelli diversi sullo stesso benchmark dà punteggi confrontabili.
Cos’è la contaminazione dei benchmark?
Contaminazione significa che le domande o le risposte di un test sono finite nei dati di addestramento di un modello. Il modello può allora ottenere un buon punteggio ricordando invece che ragionando, e il punteggio sopravvaluta la sua abilità.
I punteggi dei benchmark di IA sono affidabili?
Sono utili ma limitati. Fidati di più quando le domande sono nuove o riservate, ogni modello segue le stesse regole e gruppi indipendenti ottengono risultati simili.
Come funzionano le classifiche dei modelli di IA?
Alcune fanno la media dei punteggi su vari benchmark. Altre raccolgono voti alla cieca: le persone confrontano due risposte anonime allo stesso prompt e scelgono la migliore, e i voti formano una classifica.
Termini correlati