LLMは、どうやってトークンを1つずつ書いて返事を作るの？

練習する内容

1. 生成のループ

   あなたがVireoに質問を送ります。返事を書く手順を正しい順番に並べましょう。

   1. あなたのメッセージがトークンに分けられる
   2. モデルが、次に来うるトークンすべてに点数をつける
   3. 点数が、温度で形を変えた確率になる
   4. トークンを1つ引いて、文章に足す
   5. 終わりのトークンが出るまで、ループをくり返す

2. 生成マシンを動かそう

   「次のトークン」を押して、ルーレットが言葉を1つずつ引くのを見ましょう。そのあとミッションごとにダイヤルを設定して試します。確率は考え方を見せるための作った例です。

   1. 計算の答えは確実でなければなりません。毎回、正しい数を。

      あなた: 7 × 8は？

      次のトークン・確率

      1. “7 × 8” 70% · “7かける8” 22% · “計算結果” 8%
      2. “は” 90% · “の答えは” 8% · “で” 2%
      3. “56” 84% · “54” 7% · “58” 5% · “65” 3% · “むらさき” 1%
      4. “です。” 90% · “！” 10%

      ✓ 温度が低いと、いちばん上のトークンがほぼ毎回勝つので、3つの返事はどれも56。事実、計算、コードには、低い温度が向いています。

   2. アイデア出し：ロボット部が、投票用にいろいろなチーム名をほしがっています。

      あなた: ロボット部のチーム名を考えて。

      次のトークン・確率

      1. “チーム” 100%
      2. “稲妻” 50% · “鋼鉄” 20% · “歯車” 14% · “ピクセル” 10% · “ターボ” 6%
      3. “フクロウ” 55% · “ロケット” 20% · “ウィザード” 12% · “キツネ” 9% · “スパーク” 4%

      ✓ 温度を上げると、可能性の低い言葉にも本当にチャンスが生まれ、引くたびに新しい名前が出ます。アイデア出しでは、いろいろ出ることが大事です。

   3. 物語の書き出しは読む人をおどろかせたいけれど、意味は通じないといけません。

      あなた: 灯台の短い物語を書き始めて。

      次のトークン・確率

      1. “灯台守は” 100%
      2. “霧の中で” 48% · “階段の下で” 26% · “ある夜” 18% · “のの” 5% · “食べて” 3%
      3. “一通の” 66% · “古い” 20% · “小さな” 10% · “ぐろぷ” 4%
      4. “手紙” 40% · “クジラ” 25% · “扉” 20% · “くつ下” 10% · “をを” 5%
      5. “を見つけた。” 50% · “の声を聞いた。” 28% · “を絵に描いた。” 17% · “バナナバナナ” 5%

      ✓ 温度を高くしておどろきを出し、top-kを3にして、各ステップでありそうな3つの言葉だけが引かれるようにする。創造的で、でたらめなしっぽは切り落とされます。

3. あなたにとっての意味は？

   1. Vireoに同じ質問を2回したら、言い方の違う答えが返ってきました。何が起きた？

      • トークンが1つずつ、確率からもう一度引かれた (答え)
      • 2つの質問のあいだに、Vireoが新しいことを学んだ

   2. 長い返事が画面に1語ずつ表示されるのはなぜ？

      • トークンは、1つ前のトークンができてから作られるから (答え)
      • アプリを親しみやすく見せるためのアニメーションだから

   3. 開発者が、税金の申告書を記入するツールの温度を0にしました。よい考え？

      • よい考え。毎回いちばん上のトークンが勝つので、答えが安定する (答え)
      • よくない。温度0ではモデルが止まってしまう