アテンション（注意機構）

アテンション（注意機構）は、Transformerの中で、各トークンがほかのトークンがどれくらい大事かを重みづけし、その重みに合わせて情報をまぜて取りこむ部分です。

アテンションは、トークンごとに、ほかの各トークンがどれくらい関係するかに点数をつけ、合計100%になる重みに変えて、情報をまぜこみます。こうして、主語が省かれた日本語の文でも「だれが」を見つけたり、「はし」が橋なのか箸なのかを決めたりできます。

モデルは、いくつものアテンションヘッドを並べて動かします。ヘッドごとに、「省かれた主語と人」や「動詞とその目的語」のように、ちがう種類のつながりを学べます。最初のTransformerは1層に8ヘッド、GPT-3は96ヘッドです。

アテンションはすべてのトークンをほかのすべてのトークンとくらべるので、計算量は文章の長さの2乗で増えます。これが、モデルのコンテキストウィンドウに上限がある大きな理由の1つです。