コンテキストウィンドウ

コンテキストウィンドウとは、言語モデルが一度に受け取れる文章の最大量で、トークンの数で数えます。あなたのメッセージ、モデルの返事、貼りつけたファイル、見えない指示まで含みます。

モデルが次のトークンを書くのに使うものは、すべてウィンドウに収まっていなければなりません。会話がそれより長くなると、いちばん古い部分は収まらなくなり、モデルは使えなくなります。また、アプリが入れ直さないかぎり、前の会話は覚えていません。

ウィンドウはどんどん大きくなりました。GPT-3は一度に2,048トークンを読めましたが、Llama 3.1は128,000トークンに対応し、本1冊分にもなります。それでも上限があるのは、アテンションの計算量が文章の長さの2乗で増えることも理由の1つです。

ウィンドウが大きくても、うまく使われるとはかぎりません。研究者は、モデルが長い文脈の最初と最後にある情報を、真ん中にうもれた情報よりうまく使うことを見つけました。いちばん大事なことは目立つ場所に置きましょう。