トークナイザー

トークナイザーは、文章を言語モデルが読むかけら（トークン）に切り分け、それぞれを数字に変える道具です。モデルが出した数字を文章に戻すのもトークナイザーの仕事です。

トークナイザーは、決まったかけらの一覧（語彙）を持っています。よく出る言葉はそのまま1つに、めずらしい言葉や名前、長い数字はいくつかの小さなかけらに分けられます。かけらにはそれぞれID番号があり、モデルが見るのはその番号だけです。

LLMのトークナイザーの多くは、バイトペアエンコーディング（BPE）で作られています。1文字ずつから始めて、いちばんよく出る組み合わせをくっつけていく方法です。GPT-2のトークナイザーは50,257トークン、Llama 3は約128,000トークンです。

トークナイザーを知ると、モデルのふしぎなふるまいがわかります。モデルは文字ではなくかけらを見ているので、文字を数えるのが苦手です。また、同じ内容の文でも言語によって必要なトークン数が大きくちがい、日本語はトークンが多くなりやすいため、処理に時間とお金がかかることがあります。