コンテキストウィンドウとは？チャットボットが忘れるのはなぜ？

練習する内容

1. ウィンドウには何が入っている？

   あなたがメッセージを送るたびに、モデルはウィンドウを最初から読み直します。この中で、ウィンドウの場所をとるものはどれ？

   • このチャットでのあなたのメッセージ
   • このチャットでのVireo自身の返事
   • あなたが貼りつけた文書
   • アプリからの見えない指示
   • Vireoが学習に使ったすべての本
   • 先月Vireoとしたチャット

2. ウィンドウを詰めよう

   彩さんのチャットを再生して、ウィンドウが流れていくのを見ましょう。そのあと、Vireoが答えられるよう手伝います。トークン数は丸めた、作った例です。

   Vireoに見えるもの: 600 · Vireoのウィンドウには600トークン入ります。チャットを再生を押して、会話がウィンドウより長くなると何が起きるか見ましょう。

   1. 彩: 妹の恵のサプライズパーティーを計画したいの！4月12日（土）で、恵はピーナッツアレルギーがあるよ。 (40 tok)
      要約: パーティー：4月12日（土）。恵はピーナッツアレルギー。 (14 tok)
   2. Vireo: 楽しそう！まずは招待する人と場所から決めましょう。 (30 tok)
      要約: 招待客と場所について質問。 (8 tok)
   3. 彩: 招待客リスト.txt：24人の名前、電話番号、だれが何を持ってくるか (520 tok)
      要約: 招待客：24人。 (8 tok)
   4. Vireo: 24人なら、公民館か広い庭のどちらでも大丈夫です。 (60 tok)
      要約: 24人なら公民館か庭。 (9 tok)
   5. 彩: ごめん、猫がキーボードの上を歩いた😹 (20 tok)
      要約: 猫がキーボードに。 (5 tok)
   6. Vireo: 公民館と庭をくわしくくらべました：料金、広さ、天気、駐車場… (300 tok)
      要約: 彩さんは公民館に決定。 (8 tok)
   7. 彩: ケーキは、恵の大好きなレモンのスポンジにラズベリー！ (25 tok)
      要約: ケーキの話をした。 (6 tok)
   8. Vireo: プレイリストの案：90年代の曲を40曲、気分別に… (280 tok)
      要約: プレイリスト：90年代の曲。 (6 tok)
   9. 彩: じゃあ、ケーキ屋さんへの注文を書いて。日付、人数、味、アレルギーも。 (30 tok)

   ✗ Vireo: ケーキのご注文：レモンのスポンジにラズベリー、約10人分。受け取り日：不明。アレルギー：特になし。

   日付、アレルギー、人数は、どれもウィンドウから流れ出た最初のほうのメッセージにありました。Vireoはうっかりしたのではありません。ただ、もう見えなかったのです。

   ✓ Vireo: ケーキのご注文：レモンのスポンジにラズベリー、24人分。4月12日（土）受け取り。主役がアレルギーのため、ピーナッツは一切使わないでください。

   全部収まり、ケーキ屋さんに必要な情報もすべて残りました。長いチャットでアプリが裏でしていることも、これと同じです。けずって、要約して、大事なものを残すのです。

3. ウィンドウ？それとも学習？

   Vireoはこれをどこから得ている？コンテキストウィンドウ、学習、それともどちらでもない？

   • 10メッセージ前にあなたが伝えた、あなたの名前 → ウィンドウ
   • 海面の高さでは、水は100 °Cで沸騰すること → 学習
   • 1分前にアップロードしたPDF → ウィンドウ
   • 先週、別のチャットで聞いたこと → どちらでもない
   • ていねいなメールの書き方 → 学習
   • ウェブ検索なしの、今朝のニュース → どちらでもない