報酬モデル

報酬モデルは、人間の評価者と同じように答えに点数をつける、別のAIモデルです。人の比較データで学習し、言語モデルをよりよい答えへ導くのに使われます。

人が何百万もの答えを評価することはできないので、その判断をモデルに詰めこみます。InstructGPTの報酬モデルを学習させるため、評価者は同じプロンプトへの4〜9個の答えに順位をつけ、各順位のすべてのペアが学習用の例になりました。

学習が終わると、報酬モデルは本体のモデルが書く新しい答えすべてに点数をつけ、強化学習が本体のモデルを高い点数のほうへ押していきます。

点数は本当の質の代わりにすぎません。強く押しすぎると、本体のモデルは点数をごまかす方法を覚えます。これを報酬ハッキングと呼び、点数は上がり続けるのに本当の質は下がります。報酬モデルは長い答えをひいきしがちなことも、研究でわかっています。