本文へスキップ
JA

レッスン 5/6 · 6分 · +100 XP

AIのスケーリング則とは何ですか？

スケーリング則は、パラメータ、学習データ、計算量を増やすと、言語モデルの損失が予測どおりに下がることを示すパターンです。決まった計算量の予算をどう分けるかも教えてくれます。2022年の有名な研究では、モデルとデータをいっしょに大きくして、1パラメータあたり約20トークンで学習させると、いちばんよい結果になることがわかりました。

▶ やってみよう

なぜ大切なのか

大きなモデルの学習には、チップと電気代でばく大なお金がかかるので、研究所はスケーリング則で前もって計画します。意外なことに、予算が決まっていれば、いちばん大きなモデルがいちばんよいとはかぎりません。

6分後にできるようになること

  • モデルの質は、大きくできる3つの材料で決まります。データ、パラメータ、計算量です。
  • 予算が決まっていれば、データが少なすぎる巨大モデルは、バランスのとれたモデルに負けます。
  • スケーリング則があれば、小さく安い実験から大きな学習の結果を予想できます。

練習する内容

  1. 大きくなる3つのもの

    Vireoの学習計画の各行を、どの材料を増やすものか仕分けましょう。

    • 15兆トークンの文章 → データ
    • 層を広く、しかも数を多く → パラメータ
    • 何か月も動き続ける何千ものチップ → 計算量
    • 700億個の重み → パラメータ
    • 本、コード、Webページを追加する → データ
    • 過去最高の電気代 → 計算量

  2. 計算量の予算を使おう

    スライダーを動かして、予算をモデルの大きさと学習データに分けましょう。損失がいちばん低いところを見つけたら、決定します。

    予算は同じで、使い方は2つ。大きなモデルにするか、学習させる文章を増やすか。スライドしていろいろな分け方を試し、予測される損失を見ましょう。低いほどよいです。

    • 予算 1倍: ここでのいちばんよい分け方：10億パラメータを200億トークンで。
    • 予算 10倍: ここでのいちばんよい分け方：32億パラメータを630億トークンで。
    • 予算 100倍: ここでのいちばんよい分け方：100億パラメータを2000億トークンで。

    ≈ 1パラメータあたり20トークン 説明のための例：Chinchilla型の式で、実際の測定値ではありません

  3. Vireoの次の学習を計画しよう

    1. 予算は同じで、計画が2つ。よいモデルになりそうなのはどっち？

      • 4分の1の大きさのモデルを、4倍の文章で学習させる (答え)
      • 予算いっぱいの最大のモデルを、残った文章で学習させる

    2. Vireo Labsは、小さなモデルを1パラメータあたり20トークンよりずっと多くで学習させます。なぜかしこいやり方かもしれない？

      • 小さなモデルは何百万人に使ってもらうとき動かすのが安いので、学習を増やす価値がある (答え)
      • まちがい。1パラメータあたり20トークンより多くても役に立たない

    3. 何か月分もの計算量を使う前に、スケーリング則で研究所は何ができる？

      • 小さなテストの結果から、大きなモデルがだいたいどれくらいよくなるか予測する (答え)
      • モデルがどんな能力を持つか、正確に保証する

覚えておこう

計算量の予算が決まっているなら、モデルとデータをいっしょに大きくします。昔からの目安は、1パラメータあたり約20トークンです。

予算が決まっているなら、モデルとデータをいっしょに大きくします。目安は1パラメータあたり約20トークンです。

押さえておきたい事実

  • 言語モデルの損失は、モデルの大きさ、データ、計算量が増えるにつれて、べき乗則に従ってなめらかに予測どおり下がります。 · 出典: Kaplan et al., Scaling Laws for Neural Language Models, OpenAI, 2020
  • 計算量の予算が決まっているとき、いちばんよい結果になったのは、モデルの大きさと学習トークンを同じ割合で増やす、1パラメータあたり約20トークンのときでした。 · 出典: Hoffmann et al., Training Compute-Optimal Large Language Models, DeepMind, 2022
  • 1.4兆トークンで学習した700億パラメータのChinchillaは、同じ計算量の予算を使った2800億パラメータのGopherより高い性能を出しました。 · 出典: Hoffmann et al., DeepMind, 2022
  • 1750億パラメータのGPT-3は、約3000億トークンで学習しました。1パラメータあたり2トークン未満です。 · 出典: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
  • Llama 3は15兆トークン以上で事前学習され、いちばん大きなモデルでも1パラメータあたり20トークンをはるかに上回りました。 · 出典: Meta, The Llama 3 Herd of Models, 2024

更新日:

よくある質問

Chinchillaのスケーリング則とは何ですか？

2022年の研究成果で、学習に使う計算量が決まっているなら、モデルの大きさと学習データをいっしょに増やすべきだというものです。そこから生まれた目安が、1パラメータあたり約20トークンです。

AIモデルは大きいほど、いつも性能が高いのですか？

同じ予算ならそうとはかぎりません。大きなモデルが役立つのは、十分な学習データももらえたときだけです。より多くの文章で学習した小さなモデルが、学習不足の大きなモデルに勝つこともあります。

AIの学習でいう「計算量」とは何ですか？

モデルの学習に使う計算の合計です。専用のチップ、それを動かす時間、使う電気で支払います。

研究所はなぜ小さなモデルをそんなに多くのデータで学習させるのですか？

小さなモデルは、利用者1人ひとりに動かすのが安くて速いからです。計算量の面で最適な量よりずっと多くのデータで学習させると、質が少し上がり、それが何百万回もの利用で元がとれます。

関連用語