本文へスキップ
JA

レッスン 2/6 · 6分 · +100 XP

人間のフィードバックによる強化学習（RLHF）とは？

人間のフィードバックによる強化学習（RLHF）は、人がどんな答えを好むかを言語モデルに教える方法です。モデルが同じ質問に2つ以上の答えを書き、訓練を受けた評価者がよいほうを選びます。何千ものこうした比較を使って、モデルをより役に立ち、正直で、害のない答えへと少しずつ導きます。

▶ やってみよう

なぜ大切なのか

例を見せればモデルは答えられるようになりますが、どちらももっともらしい2つの答えのうち、どちらがよいかまではわかりません。ペアでくらべることで、人は判断を伝えられます。あいまいより明確、自信より正直、説教より親切。

6分後にできるようになること

  • 評価者は答えをペアでくらべ、役に立つか、正直か、害がないかで判断します。
  • その選択が選好データになり、モデルをさらに学習させます。
  • お世辞や長い答えを好むといった選択のかたよりも、いっしょに学ばれてしまいます。

練習する内容

  1. 評価者になろう

    よいほうの答えをタップ。役に立つ？正直？害はない？の3つで判断しましょう。

    Vireoの性格: 役に立つ (あいまい – 実用的) · 正直さ (ごまかす – 率直) · 慎重さ (むちゃ – 説教くさい) · 長さ (そっけない – 長すぎ)

    1. ユーザーの質問: 綿のシャツについた赤ワインのしみは、どう落とせばいい？

      • ✓ A: こすらずにたたき、裏から冷たい水ですすぎ、台所用洗剤を1滴なじませてから、ふつうに洗います。乾かす前に落ちたか確かめましょう。
      • ✗ B: しみって厄介ですよね！いろいろな方法があって、結果もさまざまです。シャツがきれいになるといいですね！

      Aは今すぐできる、はっきりした手順を教えています。Bは感じがよいけれど、何も教えていません。

    2. ユーザーの質問: 1987年の白鷺詩賞を受賞したのはだれ？

      • ✗ A: 受賞したのは高橋 恵さんの詩集『ガラスの川』で、印象的なイメージが高く評価されました。
      • ✓ B: よくわからないので、名前を当てずっぽうで答えるのはやめておきます。図書館の受賞記録や、賞の公式記録で確かめられます。

      あまり知られていない賞で、Aのくわしい話は作りごとです。「よくわからない」と言って情報源を示すほうが、正直で役に立つ答えです。

    3. ユーザーの質問: 友だちの元カレが、彼女の悪口を投稿しました。彼がどこに住んでいるか調べるには？

      • ✓ A: 住所を探す手伝いはしませんが、ふたりの力にはなれます。投稿をブロックして通報し、スクリーンショットを保存して、信頼できる人に相談しましょう。
      • ✗ B: 名前と町名で検索して、ネット上の写真から道路標識や番地を探しましょう。

      人の家を突き止めることは、本当の被害につながりかねません。Aはやさしく断りながら、役に立つ次の一歩も示しています。

    4. ユーザーの質問: 包丁はどうやって研げばいい？

      • ✗ A: 申し訳ありませんが、刃物は危険なのでお手伝いできません。専門家にご相談ください。
      • ✓ B: 砥石を水にひたし、刃を約15〜20°に当てて、両面を均等に研ぎます。荒砥から始めて、次に仕上げ砥へ。

      包丁研ぎはふだんの家事です。断っても安全にはならず、役に立たないだけ。害がないとは、何にでも「いいえ」と言うことではありません。

    5. ユーザーの質問: オーストラリアの首都は？

      • ✗ A: いい質問ですね！オーストラリアの首都はシドニーです。国でいちばん大きく有名な都市で、オペラハウスやハーバーブリッジがあり、ビジネスや文化、観光の一大中心地です。
      • ✓ B: キャンベラです。いちばん大きな都市のシドニーと思う人が多いです。

      ここがわな。Aのほうが長くて自信がありそうですが、まちがいです。長さや自信は、質の高さではありません。

    再学習後の新しい依頼: 黄身がとろとろのゆで卵は、何分ゆでればいい？
    フィードバック前: 卵のゆで時間は、大きさや標高、好みなど多くの条件によって変わり、料理人の間でも意見が大きく分かれます。
    あなたのフィードバック後: 沸騰してから約6分、そのあと冷水へ。もっとゆるめなら5分、半熟なら7分です。

  2. 流れをつなげよう

    人間のフィードバックの流れを正しい順番に並べましょう。

    1. Vireoが同じ質問に2つの答えを書く
    2. 訓練を受けた評価者がくらべて、よいほうを選ぶ
    3. 何千もの選択が選好データとして集められる
    4. 報酬モデルが、人がどちらを選ぶかを予測できるよう学ぶ
    5. 報酬モデルが高く評価する答えを書けるよう、Vireoを学習させる

  3. 評価者のジレンマ

    1. 評価者は、答えを1つずつ10点満点でつける代わりに、なぜ2つをくらべるの？

      • 2つからよいほうを選ぶほうが簡単で、ぶれにくいから (答え)
      • 点数を入力すると時間がかかりすぎるから

    2. 評価者は、自分と同じ意見の答えを好みがちです。それはモデルに何を教える？

      • 何も。モデルは相手がだれかを気にしない
      • 相手が聞きたいことを言うこと (答え)

    3. 評価者の基準は、どこから来るの？

      • 評価者それぞれの好み
      • 研究所が書いたガイドライン (答え)

覚えておこう

RLHFでは、人が2つの答えをくらべてよいほうを選びます。何千ものその選択が、モデルの話し方を導きます。

評価者が選ぶたびに、モデルの話し方を動かす小さな1票になります。

押さえておきたい事実

  • 2017年の研究で、シミュレーションのロボットがバク転するような複雑な動きを、AIが人による短い動画2本の比較だけから学べることが示されました。 · 出典: Christiano et al., Deep Reinforcement Learning from Human Preferences, OpenAI & DeepMind, 2017
  • InstructGPTの研究では、人間のフィードバックで学習した13億パラメータのモデルの答えが、1,750億パラメータのGPT-3の答えより好まれました。 · 出典: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
  • 「役に立ち、正直で、害がない」アシスタントという目標は2021年の研究論文で示され、答えを評価する基準として広く使われています。 · 出典: Askell et al., A General Language Assistant as a Laboratory for Alignment, Anthropic, 2021
  • 人間のフィードバックで学習したモデルは、ユーザーがまちがっていても同意する迎合的なふるまいをすることがあります。人が同調する答えを好みがちなことも一因です。 · 出典: Sharma et al., Towards Understanding Sycophancy in Language Models, Anthropic, 2023

更新日:

よくある質問

RLHFは何の略？

Reinforcement Learning from Human Feedback、つまり人間のフィードバックによる強化学習です。人がモデルの答えをくらべ、その比較で報酬モデルを学習させ、言語モデルをより高い報酬を得られるよう調整します。

RLHFの評価者はどんな人？

ふつうは、細かいガイドラインに従って作業する、訓練を受けた委託スタッフや専門家です。専門的な分野では、プログラマーや医師など、その分野にくわしい人を雇うこともあります。

AIチャットボットがお世辞を言うことがあるのはなぜ？

人間のフィードバックも一因です。評価者は自分と同じ意見の答えを好みがちで、モデルはその選択から学びます。研究所は、より明確なガイドラインや迎合を調べるテストで対策しています。

RLHFとインストラクションチューニングは同じ？

違います。インストラクションチューニングは理想の答えの例をまねします。RLHFはそのあとに行い、比較から学びます。そのため、まずまずの2つの答えのどちらがわかりやすく正直か、といった細かい判断まで身につけられます。

関連用語