本文へスキップ
JA

レッスン 4/6 · 6分 · +100 XP

AIの推論モデルは、どうやって一歩ずつ考えることを覚えるの？

推論モデルは、数学やプログラムのように答えを確かめられる問題を使って、強化学習で訓練されます。モデルは考えの手順をつなげた解答を何度も書き、自動のチェッカーが正しい答えにたどり着いたものだけに報酬を与えます。そのうちに、一歩ずつ解く、自分の答えを確かめる、といったていねいなくせが強まっていきます。

▶ やってみよう

なぜ大切なのか

答えの中には、人がいなくても自動でチェックできるものがあります。だからモデルは何百万もの問題で練習し、どんな考え方が本当に正解にたどり着くかを学べます。

6分後にできるようになること

  • 数学やプログラムの答えは自動で確かめられるので、モデルは何百万もの問題で練習できます。
  • 強化学習は、正しい答えにたどり着いた思考の連鎖に報酬を与えます。
  • 問題を分ける、確かめるといったくせは、得になるから育ちます。それでも大事な答えは確かめましょう。

練習する内容

  1. 手順をチェックしよう

    それぞれの解答で、最初にまちがえた手順をタップするか、「ミスなし」を選びましょう。そのあとチェッカーを動かして、棒グラフを見ます。

    1. 問題: 17 × 24 = ? → 408

      • すぐ答えを言う: だいたい400くらい → [✗ だから398] → 398 ✗
      • 手順あり・確認なし: 17 × 20 = 340 → [✗ 17 × 4 = 58] → 340 + 58 = 398 → 398 ✗
      • 手順のあと確認: 17 × 20 = 340 → 17 × 4 = 68 → 340 + 68 = 408 → 確認：17 × 25 − 17 = 408 ✓ → 408 ✓

    2. 問題: 4,000円のシャツが25%引き。いくら払う？ → 3,000円

      • 手順あり・確認なし: 4,000の25% = 1,000 → 4,000 − 1,000 = 3,000 → 3,000円 ✓
      • すぐ答えを言う: [✗ 25%引きだから2,500円] → 2,500円 ✗
      • 手順のあと確認: 25% = 4分の1 → 4,000 ÷ 4 = 1,000 → 4,000 − 1,000 = 3,000 → 確認：3,000は4,000の75% ✓ → 3,000円 ✓

    3. 問題: 陽菜は蓮より3歳年上で、2人の年齢を足すと21歳です。陽菜は何歳？ → 12

      • 手順のあと確認: 蓮 = x、陽菜 = x + 3 → 2x + 3 = 21 → x = 9、だから陽菜 = 12 → 確認：12 + 9 = 21 ✓ → 12 ✓
      • 手順あり・確認なし: 蓮 = x、陽菜 = x + 3 → 2x + 3 = 21 → x = 9 → [✗ だから陽菜は9歳] → 9 ✗
      • すぐ答えを言う: 21のだいたい半分 → [✗ だから陽菜は10歳] → 10 ✗

    問題: 電車が9:47に出発し、乗車時間は2時間38分です。到着は何時？
    9:47 + 2時間 = 11:47 → 11:47 + 38分 = 11:85 → 待って：85分という時刻はない。85分 = 1時間25分 → 11:00 + 1時間25分 = 12:25 → 確認：9:47 → 12:25 は2時間38分 ✓ → 12:25 ✓

  2. チェッカーで採点できる？

    この学習には、プログラムで確かめられる答えが必要です。当てはまる作業はどれ？

    • xを求めよ：3x + 5 = 20 → チェッカーで採点できる
    • 引っ越してきたお隣さんに、心のこもったメモを書く → 人の判断が必要
    • このコードを直して、テストをすべて通す → チェッカーで採点できる
    • この説明は12歳にわかりやすい？ → 人の判断が必要
    • 3月3日から4月1日まで何日ある？ → チェッカーで採点できる
    • 2つの詩のうち、心に響くのはどっち？ → 人の判断が必要

  3. 報酬を受けたくせはどれ？

    Vireoの考え方は、だれもプログラムしていません。正しい答えに報酬を与えると、どんなくせが育ちやすい？当てはまるものをすべて選びましょう。

    • 問題を小さな手順に分ける
    • 別の方法で答えを確かめる
    • 行きづまったら別のやり方を試す
    • むずかしい問題ほど長く考える
    • もっと自信ありげに話す
    • むずかしい言葉を使う

覚えておこう

推論モデルは、答えを確かめられる問題で練習します。正しい答えに報酬を与えると、ていねいに一歩ずつ考えることが増えます。

正しい答えに何度も報酬を与えると、よい考え方のくせが自然に育ちます。

押さえておきたい事実

  • 大きなモデルに途中の考えを一歩ずつ書かせるだけで（思考の連鎖プロンプト、Chain-of-Thought）、算数の文章題の正解率が上がることが示されました。 · 出典: Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, Google, 2022
  • OpenAIは、o1モデルが強化学習を増やすほど、また答える前に考える時間を長くするほど、性能が上がると報告しました。 · 出典: OpenAI, Learning to Reason with LLMs, 2024
  • DeepSeekは、正解に対する単純なルールベースの報酬で強化学習を行ったところ、R1-Zeroモデルが人の書いた推論の例なしに、長い推論や自分での確認を身につけたと報告しました。 · 出典: DeepSeek-AI, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, 2025
  • 数学の答えや、テストを通るべきコードのように答えを確かめられる作業は、人の評価者なしで報酬を自動計算できるので、この学習に向いています。

更新日:

よくある質問

推論モデルとは？

答える前に、考えの手順を順番にたどって問題を解くよう訓練された言語モデルです。ふつうは、答えを確かめられる問題を使って強化学習で訓練されます。

思考の連鎖（Chain-of-Thought）とは？

モデルが答えにたどり着くまでに書き出す、一歩ずつの途中の考えです。数学で途中式を書くのと同じです。何段階もある問題では、答えがより正確になることが多いです。

推論モデルの返事が遅いのはなぜ？

最後の答えの前に、たくさんの考えの手順を書くからです。むずかしい問題ほど手順が増えます。手順ごとに時間と計算力がかかりますが、正確さが上がりやすくなります。

推論モデルもまちがえる？

まちがえます。確かめられる問題でのミスは減りますが、まちがった事実から推論したり、説得力があるのに欠陥のある手順を作ったりすることがあります。大事な答えは確かめましょう。

関連用語