事前学習（プレトレーニング）

事前学習は、言語モデルを作るときの最初でいちばん大きな工程です。大量の文章を読み、次のトークンを予測することをくり返して、人のラベルなしで学びます。

事前学習では、モデルは次のトークンがかくされた本物の文章を見て、予想し、本当の答えを確かめ、重みを少しだけ調整します。答えは文章そのものが教えてくれるので、だれもラベルをつける必要がありません。

何兆ものトークンでくり返すと、この単純なゲームによって、モデルは文法、事実、文体、推論のパターン、コードを身につけます。たとえばLlama 3は、15兆トークン以上で事前学習されました。

モデルに使う計算能力の大部分は事前学習に使われ、知識の大部分もここで身につきます。できあがるのは文章の続きをうまく書くベースモデルで、まだ指示には従いません。次にファインチューニングやフィードバックによる学習が続きます。