AIのトークンとは？なぜモデルは言葉をかけらに分けて読むの？

練習する内容

1. トークナイザーになろう

   文字と文字のすきまをタップして、言葉をトークンに切りましょう。それから「トークン化」を押してくらべます。切り方とIDは、よくあるトークナイザーをまねた例です。

   1. ありがとう → [ありがとう] #46430
      とてもよく使う言葉は、5文字あっても1つのトークンになります。「ありがとう」は数えきれないほど出てくるので、切るとむだになるのです。
   2. 信じられない → [信じ] #8239 [られ] #43512 [ない] #5205
      長い言葉は、なじみのあるかけらで組み立てます。「信じ」「られ」「ない」は、それぞれほかのたくさんの言葉にも出てきます。
   3. Vireo → [Vir] #53413 [eo] #78
      新しい名前は語彙に入っていないので、トークナイザーは知っているかけらで組み立てます。どんな言葉も、こうしてつづれます。
   4. 1234567 → [123] #4513 [456] #10961 [7] #22
      多くのトークナイザーは、長い数字を最大3けたずつに切ります。モデルは数字全体を一度に見ないので、長い計算でつまずくことがあるのです。
   5. 東京特許許可局 → [東京] #18210 [特許] #41279 [許可] #50071 [局] #13654
      早口言葉でおなじみの長い言葉です。トークナイザーはおもに英語の文章から学ぶので、日本語の長い言葉はいくつものかけらに分かれやすいのです。
   1. 同じ意味で、言語が2つ。Vireoのトークンを多く使うのはどっち？
      • A: I love cats. → [I] [·love] [·cats] [.] (4 トークン)
      • B: ネコが大好き。 → [ネ] [コ] [が] [大] [好き] [。] (6 トークン)
      日本語の文のほうがかけらが多くなります。トークナイザーが見た日本語が英語より少ないからです。同じ意味でもトークンが多いと計算が増え、料金も高くなりがちです。
   2. トークンを多く使うメッセージはどっち？
      • A: 7時に会おう。 → [7] [時に] [会] [おう] [。] (5 トークン)
      • B: 19時45分30秒に会おう。 → [19] [時] [45] [分] [30] [秒] [に] [会] [おう] [。] (10 トークン)
      数字や記号は、それぞれ1トークンになることがよくあります。時刻、コード、長い数字は、モデルの予算をおどろくほど早く使ってしまいます。

2. なぜ言葉ではなく、かけらなの？

   カードをタップして、うらを見てみましょう。

   🔢 なぜ文章を数字にするの？

   モデルは計算しかできません。トークンをそれぞれIDに置きかえると、文は計算できる数字のリストになります。

   📕 なぜ1語1トークンにしないの？

   言葉が多すぎるからです。名前、打ちまちがい、新しい流行語。言葉の一覧は完成しませんが、かけらならどんな言葉も、生まれたばかりの言葉も組み立てられます。

   🔤 なぜ1文字ずつにしないの？

   そうすると文がとても長くなり、モデルが意味をつかむのがずっと大変になります。言葉のかけらは、そのちょうど中間です。

   🧮 トークンの一覧はどこから来るの？

   学習の前に、プログラムが大量の文章を読み、いちばんよく出るかけらの組み合わせをくっつけていきます。決まった数になるまで続け、ふつうは数万トークンの一覧になります。

3. トークンでわかること

   正しいものをすべて選びましょう。

   • モデルが読むのは文字ではなくトークンID
   • よく使う言葉は1トークンのことが多い
   • めずらしい言葉や新しい言葉はかけらに分かれる
   • 同じ文章でも、言語によってトークンが多くなる
   • どの言葉もちょうど1トークン
   • トークンは音節のこと
   • モデルにとって文字を数えるのはかんたん