AIの言語モデルは、どうやってテストされ、採点されるの？
新しい言語モデルは、ベンチマークでテストされます。数学の問題、テストつきのプログラミング課題、選択式の試験など、答えを確かめられる決まった問題のセットです。研究所は安全性のテストや、どのモデルか伏せた人による比較も加えます。点数に意味があるのは、問題が学習データに入っておらず、どのモデルも同じルールでテストされたときだけです。
▶ やってみよう
なぜ大切なのか
新しいモデルの発表には、いつも大きな数字がついてきます。テストのしくみを知っていれば、本当の進歩と、問題がもれたテストや不公平な比較を見分けられます。
6分後にできるようになること
- ベンチマークは、数学からプログラミング、安全性まで、答えを確かめられる決まった問題のセットです。
- テストの問題が学習データにもれていたり、モデルごとにルールが違ったりすると、点数は誤解を招きます。
- ブラインド比較、外部の結果、あなたの作業に近いテストを探しましょう。
練習する内容
公平なテスト？もれたテスト？
このテストの点数は信用できる？
- モデルの学習データを集めたあとに作られた問題 → 公平なテスト
- 何年も前に答えつきでネットに公開された数学のテスト → 点数は信用できない
- 実際にコードを動かしてチェックするプログラミング課題 → 公平なテスト
- このテスト1つで満点を取るまで、チームがモデルを調整する → 点数は信用できない
- どのモデルが書いたかを知らないまま、人が2つの答えをくらべる → 公平なテスト
- うちのモデルは1問につき10回挑戦、ライバルは1回 → 点数は信用できない
発表内容をチェックしよう
架空のライバル研究所Halcyon AIが、Halcyon 2を発表しました。主張ごとに合ったチェック方法を選び、わかったことを見て、判定のスタンプを押しましょう。
あなた: Halcyon 2の新しいところは？
Halcyon AI: Halcyon 2の登場です。過去最高のモデルです！小学校〜中学校レベルの数学1,000問の公開テストMathBenchで、92%を記録しました。プログラミングでVireo 3に勝利：71%対64%。モデル名を伏せたテストで、人は10回中6回その答えを選びました。これまで作られた中で最も安全なモデルです。学習が終わったあとに作られた新しい問題セットで、89%を記録しました。今すぐお試しください！- 小学校〜中学校レベルの数学1,000問の公開テストMathBenchで、92%を記録しました。
もれを調べる · テストの詳細を読む · 人気の公開テストは、ウェブにもれて、そこから学習データに入っているかもしれません。まずそこを調べましょう。
Halcyon 2 技術レポート・データの節: MathBenchは2021年からネットに公開されていて、学習データにはその問題と答えを書き写した掲示板のページが含まれています。
→ 誤解を招く: モデルが学習中に問題と答えを見ていたなら、92%は数学の力ではなく記憶かもしれません。
- プログラミングでVireo 3に勝利：71%対64%。
同じ条件でくらべる · テストの詳細を読む · 2つの点数を並べて意味があるのは、両方のモデルが同じやり方でテストを受けたときだけです。
Halcyon 2 技術レポート・脚注4: Halcyon 2は1課題につき10回挑戦でき、どれか1回通れば正解扱い。Vireo 3の64%は1回だけの挑戦の結果です。
→ 誤解を招く: 10回対1回では公平な勝負ではありません。同じルールなら、差は縮まるか、なくなるかもしれません。
- モデル名を伏せたテストで、人は10回中6回その答えを選びました。
外部の結果を探す · テストの詳細を読む · 好みに関する主張は、ほかの人も比較をしていれば確かめやすいです。独立した結果を探しましょう。
独立した評価サイト・ブラインド投票: 4,200件のブラインド投票で、Halcyon 2の答えは比較の58%で選ばれました。
→ 信頼できる: 伏せた比較で、票が多く、ほかの人が実施していて、58%は主張に近い数字。これは信頼できます。
- これまで作られた中で最も安全なモデルです。
常識で考える · テストの詳細を読む · 数字のない大きな主張には、立ち止まりましょう。「これまでで」を証明できるテストなんてあるでしょうか？
Halcyon 2 技術レポート・安全性の節: 安全性テストの名前も、点数も、外部のテスターも書かれていません。
→ 確かめられない: うそだという証拠はありませんが、裏づけもありません。テストの名前と結果がなければ、確かめようがありません。
- 学習が終わったあとに作られた新しい問題セットで、89%を記録しました。
テストの詳細を読む · もれを調べる · テストの作り方を読みましょう。だれが、いつ問題を作り、公開されているかどうか。
Halcyon 2 技術レポート・評価の節: 雇われた専門家が学習データを集めたあとに作った問題で、非公開のまま保たれています。
→ 信頼できる: 新しい非公開の問題は、学習データにもれようがありません。それが公平なテストの条件です。
- 小学校〜中学校レベルの数学1,000問の公開テストMathBenchで、92%を記録しました。
通知表を読みとこう
新しいモデルがどれも、古い試験で95%以上を取るようになりました。ここから何がわかる？
- その試験はやさしすぎて、モデルの差がわからなくなった (答え)
- AIはその試験の範囲のことを、もう完璧にこなせる
問題を秘密にしているテストの作り手がいるのはなぜ？
- 問題が学習データにもれないようにするため (答え)
- 問題に文句を言われないようにするため
Vireoがむずかしいプログラミングのベンチマークで高得点を取りました。あなたのプロジェクトを任せる前に、何を確かめるべき？
- あなたの作業に近い課題での出来を見て、コードをテストする (答え)
- 何もいらない。ベンチマークがもう証明している
覚えておこう
ベンチマークの点数は、テストの質しだいです。新しい問題、どのモデルにも同じルール、ほかの人が確かめられる結果。
ベンチマークの点数は、テストの質しだいです。新しい問題、全員に同じルール、ほかの人が確かめられる結果。
押さえておきたい事実
- 広く使われる知識のベンチマークMMLUは、数学から法律まで57分野の選択問題でできています。 · 出典: Hendrycks et al., Measuring Massive Multitask Language Understanding, ICLR 2021
- HumanEvalは、人が書いた164問のプログラミング課題でコーディング力をテストし、モデルのコードに単体テストを実行して確かめます。 · 出典: Chen et al., Evaluating Large Language Models Trained on Code, OpenAI, 2021
- GSM8Kは、小学校レベルの算数の文章題約8,500問のセットで、一歩ずつの推論をテストするのに使われます。 · 出典: Cobbe et al., Training Verifiers to Solve Math Word Problems, OpenAI, 2021
- GPT-3の論文では、ベンチマークの問題がどれだけ学習データにもれていたかを調べました。この問題は「汚染（コンタミネーション）」と呼ばれます。 · 出典: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- Chatbot Arenaは、多くの人によるブラインドの比較投票でモデルに順位をつけます。人は名前を伏せた2つの答えをくらべて、よいほうを選びます。 · 出典: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, 2023
更新日:
よくある質問
LLMのベンチマークとは？
試験問題や数学の問題、プログラミング課題など、答えを確かめられる決まった課題のセットです。同じベンチマークでいろいろなモデルを動かすと、くらべられる点数が出ます。
ベンチマークの汚染（コンタミネーション）とは？
テストの問題や答えが、モデルの学習データに入ってしまうことです。するとモデルは推論ではなく記憶でよい点数を取れてしまい、点数が実力より高く見えます。
AIのベンチマークの点数は信用できる？
役に立ちますが、限界があります。問題が新しいか非公開で、どのモデルも同じルールに従い、独立したグループでも同じような結果が出ているときほど信用できます。
AIのリーダーボードはどうやって順位を決めるの？
いくつものベンチマークの点数を平均するものもあれば、ブラインド投票を集めるものもあります。人が同じ質問への名前を伏せた2つの答えをくらべてよいほうを選び、その票を合計して順位にします。
関連用語