AIチャットボットは、どうやって答えを書いているの？

練習する内容

1. エンジンルームの中

   カードをタップして、うらを見てみましょう。

   🧩 トークンって何？

   文章の小さなかけらです。1つの単語、単語の一部、句読点など。「信じられない」は「信じ」「られ」「ない」に分かれるかもしれません。

   📚 Lumiはどうやって学んだ？

   大量の文章を読んで、1つのゲームを練習しました。次のトークンをかくして、当てて、くらべて、調整する。それを何十億回も。

   📊 何を予測しているの？

   1つの言葉ではなく、次のトークンの候補すべてに点数をつけます。それまでの文章のあとに、どれくらい来そうかの点数です。

   🔁 じゃあ、答えはどう出てくる？

   Lumiはありそうなトークンを1つ選んで文章に足し、また予測します。答えができあがるまで、言葉を1つずつ。

2. 言語モデルになってみよう

   次の言葉を選んでから、それぞれの候補がどれくらいありそうだったかを見てみましょう。パーセントは考え方を見せるための例で、本物のモデルの数字ではありません。

   1. わざわざ手伝ってくれて、本当に ___

      • ありがとう: 40% (いちばん確率が高い)
      • 助かりました: 15%
      • うれしい: 8%
      • トラクター: 0.1%
      • その他の言葉: 37%
      「手伝ってくれて、本当に」のあとには、「ありがとう」のような言葉が人の文章にとてもよく出てくるので、点数が高くなります。「トラクター」もありえますが、とてもまれです。

   2. フランスの首都は ___

      • パリ: 85% (いちばん確率が高い)
      • どこ: 5%
      • リヨン: 1%
      • その他の言葉: 9%
      数えきれない文章に出てくる事実では、1つの言葉がほかよりずっと高くなります。この場合は、いちばんありそうな言葉がたまたま正しい答えでもあります。

   3. むかしむかし、あるところに ___

      • おじいさん: 30% (いちばん確率が高い)
      • 小さな: 15%
      • ドラゴン: 5%
      • トースター: 0.2%
      • その他の言葉: 50%
      チャットボットはいつもいちばん上の言葉を選ぶわけではありません。温度（temperature）という設定で、選び方の冒険度が変わります。スイッチを試してみましょう。
      • 温度: 低い. むかしむかし、あるところに、おじいさんとおばあさんが住んでいました。
      • 温度: 高い. むかしむかし、あるところに、月へ行くのを夢見るトースターがいました。

   4. 架空の科学者ミラ・オカフォー博士がノーベル賞を受けた分野は ___

      • 物理学: 30% (いちばん確率が高い)
      • 化学: 25%
      • 医学: 20%
      • なし: 2%
      • その他の言葉: 23%
      オカフォー博士は存在しないのに、どの候補もそれらしく聞こえ、どれかが選ばれます。こうしてチャットボットは、なめらかなのにまったくまちがった答えを作ることがあるのです。

3. 質問から答えまで

   あなたがLumiに質問します。手順を正しい順番に並べましょう。

   1. あなたがメッセージを送る
   2. 文章がトークンに分けられる
   3. モデルが次のトークンの候補すべてに点数をつける
   4. ありそうなトークンを1つ選んで文章に足す
   5. 答えができあがるまで、モデルがまた予測する

4. あなたにとっての意味は？

   1. Lumiに同じ質問を2回したら、ちがう答えが返ってきました。なぜ？

      • ありそうな言葉の中から、少しランダムに選んでいるから (答え)
      • よく考えなおして、気が変わったから

   2. Lumiがなめらかに、自信たっぷりに答えました。ここから何がいえる？

      • 文章はうまいが、正しいかどうかは何もわからない (答え)
      • こんなに自信があるのだから、正しいはず