LLMができるまで / 用語集

スケーリング則

スケーリング則は、パラメータ、学習データ、計算量を増やすと、言語モデルの損失がなめらかに予測どおり下がることを示すパターンです。研究所はこれを使って、どれくらいの大きさで作るかを計画します。

2020年の研究で、損失は単純なべき乗則に従うことがわかりました。モデルの大きさ、データ、計算量を2倍にすると、損失が予測できる分だけ下がります。これで研究所は、お金をかけて学習する前に、モデルがどれくらいよくなるかを予想できるようになりました。

2022年の研究はこのレシピを見直しました。計算量の予算が決まっているなら、モデルとデータをいっしょに、1パラメータあたり約20トークンの割合で増やすのがよい、というものです。この研究の700億パラメータのChinchillaは、1.4兆トークンで学習し、同じ予算を使った2800億パラメータのGopherに勝ちました。

スケーリング則が予測するのは損失で、個々の能力ではないので、思いがけない能力が現れることもあります。最近のモデルの多くは、1パラメータあたり20トークンよりずっと多く学習します。小さなモデルを長く学習させるほうが、あとで動かすのが安くすむからです。