埋め込み（エンベディング）

埋め込み（エンベディング）とは、言葉やトークン、文、画像を、意味の空間の中の1つの点として表す数字のリストです。意味が似たものほど近くに集まります。

モデルは言葉のままでは計算できないので、トークンごとに数字のリストをわりあてます。学習でこの点を動かすと、「ネコ」と「子ネコ」のように似た文で使われる言葉は近くに、関係のない言葉は遠くに置かれます。

この空間では、方向にも意味があります。文章から学んだ単語ベクトルでは、「王様 − 男性 + 女性」が「女王」の近くに着地します。いちばん大きなGPT-3では、トークン1つが12,288個の数字のリストに変えられていました。

埋め込みはチャットボット以外にも使われます。たとえば、言葉がぴったり同じでなくても意味で文書を見つける検索です。人が書いた文章から学ぶので、その文章にある偏見（ステレオタイプ）まで取りこんでしまうことがあります。