AIベンチマーク

AIベンチマークとは、試験問題、算数の問題、プログラミングの課題など、答えを確かめられる決まった問題のセットです。モデルの性能を測ってくらべるのに使います。

よく知られたベンチマークには、57科目の選択問題が入ったMMLU、テストを実行して確かめる164問のプログラミング問題のHumanEval、小学生レベルの算数の文章題約8,500問のGSM8Kがあります。

点数に意味があるのは、条件が公平なときだけです。ベンチマークの問題が学習データにまぎれこんでいる（コンタミネーション）と、モデルは答えを覚えているだけかもしれません。また、どのモデルも同じプロンプトと同じルールでテストする必要があります。

ベンチマークは使い切られます。トップのモデルが満点近くをとるようになると、そのテストでは差がつかなくなるので、新しくもっと難しいテストが登場します。点数が高くても役に立つ、安全だという証明にはならないので、研究所は目かくしでの人のくらべ合いや安全テストも加えます。