Transformer（トランスフォーマー）

Transformer（トランスフォーマー）は、いまの言語モデルのほとんどが使っているニューラルネットワークの設計です。文章のトークンをすべて同時に処理し、アテンションでトークンどうしが情報を伝え合います。

Transformerは、2017年の論文「Attention Is All You Need」で発表され、最初は翻訳のために使われました。大事なアイデアは、前から順に1語ずつ読むのをやめて、すべての言葉がほかのすべての言葉を一度に見られるようにしたことです。

Transformerは、トークンをそれぞれ埋め込みに変え、同じ形の層を積み重ねた塔に通します。各層では、アテンションがほかのトークンの情報をまぜこみ、フィードフォワードの部分が各トークンを磨きます。いちばん大きなGPT-3は、この層を96枚重ねています。

計算を同時に進められるので、Transformerはいまのチップで効率よく学習でき、とても大きなモデルが作れるようになりました。同じ設計は、いまでは画像、音声、コードにも使われています。