次のトークン予測で、LLMはどうやって学習するの？

練習する内容

1. Vireoの席に座ろう

   どの行も学習用の文章から来ています。次のトークンに賭けてから、学習ずみのモデルがどう賭けを分けるか見てみましょう。パーセントは説明のための例です。

   1. 彼女はドアを開けて、部屋に ___

      • 入った: 38% (いちばん確率が高い)
      • 戻った: 20%
      • 向かった: 12%
      • そっと: 6%
      • ドア: 0.1%
      • その他の言葉: 24%
      ここでうまく当てるには、文法を学ぶ必要があります。「部屋に」のあとには動きを表す言葉や様子が来て、名詞が来ることはほとんどありません。

   2. 水が凍る温度は ___

      • 0度: 72% (いちばん確率が高い)
      • セ氏: 10%
      • 、: 5%
      • 100度: 3%
      • その他の言葉: 10%
      正解するには、事実を取りこむ必要があります。だれもVireoに理科を教えていません。その事実が文章にくり返し出てくるだけです。

   3. 葵はりんごを3個持っていて、4個買いました。いま持っているのは ___

      • 7: 64% (いちばん確率が高い)
      • 七: 12%
      • 4: 3%
      • たくさん: 1%
      • その他の言葉: 20%
      このラウンドは、かんたんな計算ができれば勝てます。文章をうまく予測しようとすると、一歩ずつの推論も含めて、役に立つことは何でもこっそりごほうびがもらえるのです。

   4. for i in range( ___

      • 10: 30% (いちばん確率が高い)
      • len: 26%
      • n: 20%
      • apples: 0.1%
      • その他の言葉: 24%
      コードも文章です。何百万ものプログラムで練習するうちに、プログラミング言語のパターンも身につきます。

   5. 日本語：ありがとう。英語： ___

      • Thank: 82% (いちばん確率が高い)
      • ありがとう: 3%
      • Hello: 2%
      • その他の言葉: 13%
      こういう組み合わせはWebのあちこちにあるので、モデルは次のトークン当てのおまけとして翻訳を覚えます。

   6. となりの家のネコの名前は ___

      • モモ: 5% (いちばん確率が高い)
      • ミケ: 5% (いちばん確率が高い)
      • タマ: 4%
      • レオ: 2%
      • その他の言葉: 84%
      どんな文章にもこの答えは書いてありません。モデルは賭けを薄く広げることを学びますが、それでも名前を1つ選びます。これが、自信たっぷりな作り話の根っこの1つです。

2. 事前学習の1ステップ

   練習ゲームの1ターンを順番に並べましょう。

   1. 学習データから、本物の文章をひと続き取り出す
   2. 次に来るトークンをかくす
   3. Vireoが、次のトークンの候補すべてに賭ける
   4. 本当のトークンを見せて、Vireoがどれくらいおどろいたかを測る
   5. 本当のトークンの確率が上がるように重みを少し動かす
   6. 1トークンずらして、もう一度

3. このラウンドで学ぶのは？

   空欄ごとに、ごほうびがもらえる力がちがいます。仕分けましょう。

   • ネコ＿寝ている。（が） → 文法
   • いちばん大きな惑星は＿（木星） → 事実
   • 12 + 30 = ＿（42） → 推論
   • 昨日、学校に＿。（行った） → 文法
   • 海面の高さで、水は＿℃で沸騰する。（100） → 事実
   • 蓮は湊より背が高く、湊は悠真より高い。いちばん低いのは＿（悠真） → 推論