トークン

トークンとは、言語モデルが読み書きする文章の小さな単位です。1つの単語、単語の一部、句読点、空白などで、モデルはトークンを1つずつ予測します。

チャットボットはあなたのメッセージをあつかう前に、文章をトークンに分けます。よく使う短い言葉は1つのトークンになることが多く、長い言葉や珍しい言葉はいくつかのかけらに分かれます。

答えるとき、モデルは次のトークンを選んで文章に足し、そのまた次を予測します。この一歩ずつの予測のせいで、答えは1語ずつ現れるのです。

トークンはいくつかの限界も説明します。サービスの利用量はトークンで数えられ、モデルが一度に読めるトークンの数には上限があり、文字を数えるような作業は、モデルが1文字ずつではなくかけらで見ているためにまちがえることがあります。