Comment teste-t-on et note-t-on les modèles de langage ?
Les nouveaux modèles de langage passent des benchmarks : des séries fixes de questions aux réponses vérifiables, comme des problèmes de maths, du code avec tests ou des QCM. Les labos ajoutent des tests de sécurité et des comparaisons humaines à l'aveugle. Un score ne vaut que si les questions étaient absentes de l'entraînement et les règles identiques pour tous.
▶ À toi de jouer
Pourquoi c'est important
Chaque lancement arrive avec de gros chiffres. Savoir comment marchent les tests t'aide à distinguer un vrai progrès d'un test qui fuit ou d'une comparaison injuste.
En 6 minutes, tu sauras
- Les benchmarks sont des séries fixes de questions aux réponses vérifiables, des maths au code en passant par la sécurité.
- Les scores trompent quand les questions ont fuité dans l'entraînement ou que les règles diffèrent entre modèles.
- Cherche des comparaisons à l'aveugle, des résultats externes et des tests sur des tâches comme les tiennes.
Ce que tu vas pratiquer
Test fiable ou test qui fuit ?
Peux-tu faire confiance au score de ce test ?
- Des questions écrites après la collecte des données d'entraînement → Test fiable
- Un test de maths publié en ligne il y a des années, corrigé compris → Score douteux
- Des exercices de code vérifiés en exécutant vraiment le code → Test fiable
- L'équipe retouche le modèle jusqu'à ce qu'il cartonne à ce test précis → Score douteux
- Des gens comparent deux réponses sans savoir quel modèle les a écrites → Test fiable
- Notre modèle a 10 essais par question, le concurrent 1 seul → Score douteux
Vérifie les annonces
Halcyon AI, un labo concurrent inventé, vient d'annoncer Halcyon 2. Choisis la bonne vérification pour chaque affirmation, regarde ce qu'elle révèle, puis tamponne-la.
Toi: Quoi de neuf dans Halcyon 2 ?
Halcyon AI: Voici Halcyon 2, notre meilleur modèle à ce jour !Il obtient 92 % à MathBench, un test public de 1 000 problèmes de maths du collège.Il bat Vireo 3 en code : 71 % contre 64 %.Dans des tests à l'aveugle, les gens ont préféré ses réponses 6 fois sur 10.C'est le modèle le plus sûr jamais créé.Il obtient 89 % sur une nouvelle série de questions écrites après la fin de son entraînement.Essayez-le dès aujourd'hui !- Il obtient 92 % à MathBench, un test public de 1 000 problèmes de maths du collège.
Chercher des fuites · Lire le détail des tests · Un test public populaire a pu fuiter sur le web, et de là dans les données d'entraînement. Vérifie ça d'abord.
Rapport technique de Halcyon 2 · section données: MathBench est en ligne depuis 2021, et les données d'entraînement contiennent des pages de forum qui copient ses questions et réponses.
→ Trompeur: Si le modèle a vu les questions et les réponses à l'entraînement, ces 92 % peuvent venir de la mémoire plutôt que du talent en maths.
- Il bat Vireo 3 en code : 71 % contre 64 %.
Comparer à règles égales · Lire le détail des tests · Deux scores côte à côte n'ont de sens que si les deux modèles ont passé le test de la même façon.
Rapport technique de Halcyon 2 · note 4: Halcyon 2 avait 10 essais par exercice, réussi si un seul passait. Les 64 % de Vireo 3 portent sur un seul essai.
→ Trompeur: Dix essais contre un, ce n'est pas une course équitable. Avec les mêmes règles, l'écart pourrait se réduire ou disparaître.
- Dans des tests à l'aveugle, les gens ont préféré ses réponses 6 fois sur 10.
Trouver des résultats externes · Lire le détail des tests · Une préférence se vérifie facilement si d'autres ont fait la comparaison. Cherche des résultats indépendants.
Un site d'évaluation indépendant · votes à l'aveugle: 4 200 votes à l'aveugle : la réponse de Halcyon 2 a été préférée dans 58 % des comparaisons.
→ Tient la route: À l'aveugle, beaucoup de votes, mené par quelqu'un d'autre, et 58 % est proche de l'annonce. Celle-ci tient la route.
- C'est le modèle le plus sûr jamais créé.
Bon sens · Lire le détail des tests · Une affirmation grandiose sans chiffre doit te faire tiquer. Quel test pourrait prouver « jamais » ?
Rapport technique de Halcyon 2 · section sécurité: Aucun test de sécurité nommé, aucun score, aucun testeur externe mentionné.
→ Invérifiable: Rien ne prouve que c'est faux, mais rien ne l'appuie non plus. Sans tests nommés ni résultats, c'est invérifiable.
- Il obtient 89 % sur une nouvelle série de questions écrites après la fin de son entraînement.
Lire le détail des tests · Chercher des fuites · Lis comment le test a été fait : qui a écrit les questions, quand, et si elles sont publiques.
Rapport technique de Halcyon 2 · section évaluation: Des questions écrites par des experts rémunérés après la collecte des données d'entraînement, et gardées secrètes.
→ Tient la route: Des questions neuves et secrètes n'ont pas pu fuiter dans l'entraînement. C'est ce qui fait un test fiable.
- Il obtient 92 % à MathBench, un test public de 1 000 problèmes de maths du collège.
Lire le bulletin
Tous les nouveaux modèles dépassent désormais 95 % à un vieil examen. Qu'est-ce que ça t'apprend ?
- L'examen est devenu trop facile pour départager les modèles (Réponse)
- L'IA sait maintenant tout faire parfaitement dans ce domaine
Pourquoi certains créateurs de tests gardent-ils leurs questions secrètes ?
- Pour qu'elles ne fuient pas dans les données d'entraînement (Réponse)
- Pour que personne ne puisse critiquer les questions
Vireo cartonne à un benchmark de code difficile. Que dois-tu encore vérifier avant de lui confier ton projet ?
- Ses résultats sur des tâches comme les tiennes, et tester son code (Réponse)
- Rien : le benchmark l'a déjà prouvé
Retiens bien
Un score de benchmark ne vaut que ce que vaut le test : des questions neuves, les mêmes règles pour chaque modèle et des résultats vérifiables par d'autres.
Un score de benchmark ne vaut que ce que vaut le test : des questions neuves, les mêmes règles pour tous et des résultats vérifiables.
Les chiffres clés
- MMLU, un benchmark de connaissances très utilisé, contient des QCM dans 57 matières, des maths au droit. · Source: Hendrycks et al., Measuring Massive Multitask Language Understanding, ICLR 2021
- HumanEval teste le code avec 164 problèmes de programmation écrits à la main, chacun vérifié en lançant des tests unitaires sur le code du modèle. · Source: Chen et al., Evaluating Large Language Models Trained on Code, OpenAI, 2021
- GSM8K est une série d'environ 8 500 problèmes de maths de niveau primaire et collège, utilisée pour tester le raisonnement pas à pas. · Source: Cobbe et al., Training Verifiers to Solve Math Word Problems, OpenAI, 2021
- L'article sur GPT-3 a vérifié combien de questions de benchmarks avaient fuité dans ses données d'entraînement, un problème appelé contamination. · Source: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- Chatbot Arena classe les modèles grâce à des votes participatifs à l'aveugle : les gens comparent deux réponses anonymes et choisissent la meilleure. · Source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, 2023
Mis à jour:
Les questions qu'on se pose
C'est quoi un benchmark de LLM ?
Un benchmark est une série fixe de tâches aux réponses vérifiables, comme des questions d'examen, des problèmes de maths ou des exercices de code. Faire passer le même benchmark à plusieurs modèles donne des scores comparables.
C'est quoi la contamination d'un benchmark ?
La contamination, c'est quand des questions ou des réponses d'un test se retrouvent dans les données d'entraînement d'un modèle. Il peut alors bien réussir en se souvenant au lieu de raisonner, et le score surestime son niveau.
Les scores des benchmarks d'IA sont-ils fiables ?
Ils sont utiles mais limités. Fais-leur davantage confiance quand les questions sont neuves ou secrètes, que chaque modèle suit les mêmes règles et que des groupes indépendants obtiennent des résultats proches.
Comment les classements d'IA rangent-ils les modèles ?
Certains font la moyenne des scores sur plusieurs benchmarks. D'autres recueillent des votes à l'aveugle : les gens comparent deux réponses anonymes à la même demande et choisissent la meilleure, et les votes forment un classement.
Termes associés