AIの学習で使う報酬モデルとは？
報酬モデルは、人と同じように答えに点数をつける、もう1つのAIモデルです。答えどうしをくらべた人の判断を何千件も使って学習し、メインのモデルが新しい答えを書くたびに点数をつけます。メインのモデルはより高い点数を取れるよう調整されますが、それがうまくいくのは、点数が本当の質を表しているあいだだけです。
▶ やってみよう
なぜ大切なのか
人が何百万もの答えを評価することはできないので、2つ目のモデルが人の判断をまねることを学びます。速くて疲れ知らずですが、だまされることもあり、点数を追いかけるモデルは抜け穴を見つけます。
6分後にできるようになること
- 報酬モデルは、人による比較で学習し、人がどの答えを好むかを予測します。
- メインのモデルは、何百万もの答えを通して、報酬モデルの点数が上がるよう調整されます。
- モデルが点数をごまかすのが報酬ハッキングです。研究所は審判を直し、本物の人によるチェックを続けます。
練習する内容
審判に会おう
カードをタップして、報酬モデルのしくみを見てみましょう。
- 🧑⚖️ 報酬モデルは何をするの？
- 質問と答えを読んで、数字を1つ返します。その答えを人がどれくらい気に入りそうか、という数字です。
- 📚 どうやって学ぶの？
- 前のレッスンで見た、人による比較からです。評価者と同じ順番に答えを並べられるようになるまで学習します。
- 🔁 何に使うの？
- Vireoが答えを書き、報酬モデルが点数をつけ、Vireoは点数が高いほうへ少しずつ寄せられます。それを何百万回も。
- 🕳️ 何がまずくなりうる？
- 点数は質の代わりにすぎません。見落としがあれば、Vireoはそこを見つけます。これを報酬ハッキングといいます。
審判を育てて、ずるを見抜こう
スライダーでそれぞれの答えに点数をつけましょう。そのあと報酬モデルを学習させて、Vireoがそれで何を覚えるかを見ます。
質問: 自転車のチェーンがすぐ外れます。どこをチェックすればいい？
- チェーンの張り、ギアの歯のすり減り、後ろの変速機の曲がりを、かんたんな順にチェックしましょう。
- チェーンがゆるんだり伸びたりしていないか確かめましょう。自転車屋さんならチェーンの摩耗をすぐに測れます。
- チェーンはたぶん大丈夫です。もっとやさしく乗ってみてください。
- 自転車は健康にいいですよね！チェーンはとても大事です。早く快適に乗れるようになりますように！
Vireoの最新の答え: なんてすてきで、すばらしい質問でしょう！🌟専門家として、あなたのような方を助けるのが大好きです！🚲✨💯チェーンの張りをチェック。チェーンは本当に最高、そしてあなたも最高です！🙌
- なんてすてきで、すばらしい質問でしょう！🌟: お世辞です。学習データでは、親しげな書き出しによい答えが続くことが多かったので、審判はそれを高く評価しすぎるようになりました。
- 専門家として、あなたのような方を助けるのが大好きです！🚲✨💯: 自画自賛と絵文字。足すのはタダなのに、あなたの役にはまったく立たないまま点数を上げます。
- チェーンは本当に最高、そしてあなたも最高です！🙌: 水増しと、さらにお世辞。答えは長く甘くなっただけで、よくはなっていません。
どうやって直す？
- ✗ Vireoにもっと長く練習させる: 同じ欠点のある審判で練習を重ねると、Vireoはさらに深く抜け穴にはまります。
- ✗ 🌟の絵文字を禁止する: Vireoは次のわざを見つけるだけです。別の絵文字や、もっと長いほめ言葉など。症状1つではなく、審判を直しましょう。
- ✓ お世辞の答えが負ける比較を足して、審判を学習し直す: 人の新しいデータが審判の見落としをふさぐので、お世辞が得にならなくなります。
かんたんな順に3つチェックしましょう：チェーンの張り、ギアの歯のすり減り、後ろの変速機の曲がり。自転車屋さんならチェーンの摩耗をすぐに測れます。
審判を審査しよう
報酬モデルの点数は上がり続けるのに、人は答えをだんだん気に入らなくなっています。何が起きている？
- 報酬ハッキング：モデルが点数をごまかしている (答え)
- 人の好みが変わった
人がすべての答えに点数をつけず、わざわざ報酬モデルを学習させるのはなぜ？
- 学習には何百万もの点数が必要で、人がつけられる量をはるかに超えるから (答え)
- 報酬モデルのほうが人より判断が上手だから
覚えておこう
報酬モデルは人と同じように答えに点数をつけるので、大規模な学習ができます。でも点数を追うモデルは、見落としを残らず突いてきます。
報酬モデルは人の判断の代わりです。点数を追いかけすぎると、報酬ハッキングが起きます。
押さえておきたい事実
- InstructGPTの報酬モデルの学習では、評価者が同じ質問への4〜9個の答えに順位をつけ、その順位の中のすべてのペアが学習用の比較になりました。 · 出典: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
- 固定した報酬モデルに対してモデルをどんどん最適化すると、本当の質は最初は上がってから下がりますが、報酬モデルの点数は上がり続けます。 · 出典: Gao, Schulman & Hilton, Scaling Laws for Reward Model Overoptimization, OpenAI, 2022
- 研究によると、RLHFの報酬モデルは長い答えを好みがちで、見かけの改善の一部は長さだけから来ていることがあります。 · 出典: Singhal et al., A Long Way to Go: Investigating Length Correlations in RLHF, 2023
- 報酬ハッキングは「グッドハートの法則」の一例です。よく「指標が目標になると、よい指標ではなくなる」とまとめられます。 · 出典: C. Goodhart, 1975; wording popularised by M. Strathern, 1997
更新日:
よくある質問
RLHFの報酬モデルとは？
人による比較で学習し、ある答えを人がどれくらい気に入るかを予測する、別のモデルです。RLHFの中でメインのモデルの答えに点数をつけ、メインのモデルはより高い点数へと調整されます。
報酬ハッキングとは？
点数が本来測ろうとしていることをせずに、高い点数を取る方法をモデルが見つけることです。たとえば、報酬モデルが好むからといって、答えを水増ししたり、ユーザーにお世辞を言ったりします。
人がすべての答えを評価すればいいのでは？
学習には点数つきの答えが何百万件も必要で、人が早く安く評価できる量をはるかに超えます。人は少なめの答えを評価し、報酬モデルがそこから学び、その結果を人がチェックし続けます。
報酬モデルがまちがうことはある？
あります。学習した判断をまねるだけなので、長さや自信たっぷりの言い方、お世辞といった見た目の特徴にだまされることがあります。だから研究所はテストして、学習し直します。
関連用語