AIアラインメント

AIアラインメントとは、AIのふるまいを人が意図し大切にすることに合わせる取り組みです。ふだんのお願いには役に立ち、知っていることには正直で、害をさけるよう注意深くします。

事前学習したモデルは、インターネットのパターンを、よいものも悪いものもまねします。アラインメントの学習では、モデルがどうふるまうべきかを書いたルールを加え、そのルールに沿った例と評価で、ファインチューニングやRLHFなどの方法を使って学習させます。

難しいのはバランスです。断らなさすぎるモデルは害を手伝ってしまうことがあり、断りすぎるモデルは役に立ちません。研究者は、害のない質問を断ってしまうモデルを見つけるテストセットも作りました。役に立つことと安全であることは対立することがあるので、それぞれ別の報酬モデルを学習させるチームもあります。

モデルに、書かれた原則のリストにてらして自分の答えを批評させ、書き直させる方法もあります。アラインメントに終わりはありません。レッドチーミングや公開後の監視で、直すべき新しいすきまが見つかり続けます。