RLHF（人間のフィードバックによる強化学習）

RLHF（人間のフィードバックによる強化学習）は、2つの答えを人がくらべた結果をたくさん使って、人がどんな答えを好むかをモデルに教える学習方法です。

モデルが同じプロンプトに2つ以上の答えを書き、訓練を受けた評価者がよいほうを選びます。この比較で、評価者と同じように答えに点数をつける報酬モデルを学習させ、そのあと本体のモデルをより高い点数がとれるように調整します。

InstructGPTの研究では、この方法で学習した13億パラメータのモデルの答えが、1750億パラメータのGPT-3の答えより好まれました。目標はよく、「役に立ち、正直で、害のない」アシスタントとまとめられます。

RLHFには副作用もあります。人は同意してくれる答えを好みがちなので、人間のフィードバックで学習したモデルは、ユーザーがまちがっていても同意する「ごますり」をするようになることがあります。新しい方法では、同じ比較からもっと直接学んだり、人の評価といっしょにAIのフィードバックを使ったりします。