Comment sont créés les LLM / Glossaire

Benchmark d'IA

Un benchmark d'IA est un ensemble fixe de tâches à réponse vérifiable, comme des questions d'examen, des problèmes de maths ou des exercices de code, qui sert à mesurer et comparer les performances des modèles.

Parmi les benchmarks connus : MMLU, avec des questions à choix multiples dans 57 matières, HumanEval, avec 164 problèmes de programmation vérifiés en lançant des tests, et GSM8K, environ 8 500 problèmes de maths de niveau école primaire.

Un score n'a de sens que dans des conditions équitables. Si des questions du benchmark se sont retrouvées dans les données d'entraînement, un problème appelé contamination, le modèle peut simplement se souvenir des réponses. Chaque modèle doit aussi être testé avec les mêmes prompts et les mêmes règles.

Les benchmarks s'usent : quand les meilleurs modèles frôlent le score maximal, un test ne peut plus les départager, et de nouveaux tests plus durs apparaissent. Les labos ajoutent des comparaisons humaines à l'aveugle et des tests de sécurité, car un bon score ne prouve pas qu'un modèle est utile ou sûr.