Chain-of-Thought（思考の連鎖）

Chain-of-Thought（思考の連鎖）は、言語モデルが最終的な答えの前に書き出す、一歩ずつの考えの道すじです。推論モデルは、難しい問題を解くために長い思考の連鎖を書くよう学習しています。

2022年、研究者は、大きなモデルに「考えを一歩ずつ書いて」と頼むだけで、算数の文章題の正答率が上がることを示しました。手順を書くと、答えを決める前に、モデルが土台にできる文章が増えるからです。

推論モデルは、これを学習でさらに進めます。数学やコードのように答えを確かめられる問題で練習し、正しい結果にたどり着いた道すじに強化学習で報酬を与えます。自分の答えを確かめるような習慣が強まり、長く考えるほどうまくいくことが多くなります。

思考の連鎖は役に立ちますが、モデルの中をそのまま見られる窓ではありません。書かれた手順が、本当に答えを決めた理由と一致しないこともあると研究者は見つけています。だから、最後の答えはやはり確かめる必要があります。