ベースモデル（基盤モデル）

ベースモデルは、事前学習を終えたばかりの言語モデルです。指示に従うのではなく文章の続きを書くので、アシスタントとして働くにはさらに学習が必要です。

ベースモデルに質問すると、さらに質問を並べて返すことがあります。Webでは、質問の一覧のあとにはまた質問が続くことが多いからです。ベースモデルが学んだのは文書の続きを書くことで、入力した人を助けることではありません。

それでもベースモデルはたくさんのことを知っています。GPT-3は、プロンプトにいくつか例を入れるだけで、ベースモデルが新しい作業をこなせることを示しました。これをfew-shotプロンプトと呼びます。答えが次に来るような文書の形にしておけば、うまくいきます。

多くの研究所は、研究者や開発者が土台にするためのベースモデルと、会話用に指示チューニングしたモデルの両方を公開しています。あとのアシスタント向けの学習は、使うデータがずっと少なく、おもにモデルのふるまいを形づくります。