本文へスキップ
JA

レッスン 2/6 · 6分 · +100 XP

大規模言語モデルの学習データは、どこから来ているの？

大規模言語モデルは、たくさんの種類の文章をまぜて学びます。クローラーが集めた公開Webページ、本、論文、オープンソースのコード、百科事典、掲示板の投稿に加え、ライセンスを受けたデータや学習用に書かれたデータもあります。事実、物語の語り方、プログラミングと、情報源ごとに教えることがちがいます。いまのモデルは何兆ものトークンで学習し、その配合がモデルの得意なことを決めます。

▶ やってみよう

なぜ大切なのか

モデルが学べるのは、データに入っていることだけです。情報源の配合を知ると、モデルが何を得意とし、どの言語が上手で、だれの声をなぞっているのかがわかります。

6分後にできるようになること

  • モデルがあなたの言語や分野に弱いなら、学習中にそれについての文章をあまり見ていないのかもしれません。
  • 公開されたWebの文章には意見やまちがいも入っているので、モデルはその両方をなぞることがあると覚えておきましょう。
  • モデルの説明資料を探しましょう。責任ある作り手は、データの情報源を説明しています。

練習する内容

  1. どのパイプから来た？

    文章のかけらは、それぞれ1つの情報源から来ています。正しいパイプに仕分けましょう。

    • 営業時間：月〜金 9:00〜17:00。駅のすぐ隣です。 → Webページ
    • 第3章　雨は3日間やまなかった。葵が灯台に着いたときも。 → 本
    • def area(r): return 3.14159 * r * r → コード
    • Re: 容量不足エラー？キャッシュを消したら直りました、みなさんありがとう！ → 掲示板
    • 「出ていくつもりなんてなかった」と、彼女は古い日記を閉じながらささやいた。 → 本
    • for (let i = 0; i < 10; i++) { total += i; } → コード
    • Q：サボテンの水やりは毎週でいい？ A：冬は多すぎ。月1回にしてみて。 → 掲示板
    • ベランダでミニトマトを育てる、かんたんなコツ10選 → Webページ

  2. それぞれのパイプは何を教えた？

    どの行も、ある情報源の書き方です。次の言葉を選んでから、Vireoの予測を見てみましょう。パーセントは説明のための例です。

    1. 吾輩は猫で ___

      • ある: 90% (いちばん確率が高い)
      • した: 3%
      • す: 2%
      • サンドイッチ: 0%
      • その他の言葉: 5%
      数えきれない本や記事で引用されてきた、有名な書き出しです。本は物語の語り方と、よく知られた言い回しを教えます。

    2. if user is None:
      return       ___

      • None: 55% (いちばん確率が高い)
      • False: 20%
      • user: 5%
      • hello: 0.1%
      • その他の言葉: 20%
      何百万行もの公開コードを読んだので、Vireoはこのあとにふつう何が来るかを知っています。コードを書く力はここから来ています。

    3. 同じ症状の人いますか？【追記】解決しました、 ___

      • ありがとう: 40% (いちばん確率が高い)
      • 原因は: 20%
      • 二度と: 2%
      • その他の言葉: 38%
      掲示板のスレッドは、助けを求めたり解決法を伝えたりするやりとりを教えます。アシスタントに役立つ力です。

    4. 営業日は月曜から ___

      • 金曜: 70% (いちばん確率が高い)
      • 土曜: 15%
      • 日曜: 5%
      • その他の言葉: 10%
      ふつうのWebページは、営業時間、値段、道案内など、身近な世界の書き表し方を教えます。

  3. Vireoのデータ配合を計画しよう

    Tomásが次の学習のための計画を下書きしました。よりよいモデルになるよう、各行のスイッチを切りかえましょう。

    • たくさんの言語の文章を入れる
    • いちばん人気のページを1,000回コピーして重みを増やす
    • オープンソースの公開コードを入れる
    • 人のプライベートなメッセージを入れる
    • 使用の許可を得た教科書や論文を入れる
    • 大きなWebサイト1つだけの文章を使う

覚えておこう

モデルが知っているのは、読んだことだけ。Webページ、本、コード、会話の配合が、モデルのすべてを形づくります。

モデルはデータの配合で形づくられます。Webページ、本、コード、会話は、それぞれちがうことを教えます。

押さえておきたい事実

  • 非営利団体のCommon Crawlは、2008年から何十億ものWebページを保存して無料で公開しています。それをふるいにかけたものが、多くの言語モデルに使われています。 · 出典: Common Crawl Foundation
  • GPT-3の学習データの配合は、ふるいにかけたWebクロールの文章が約60%、厳選したWebページが22%、2つの書籍コレクションが16%、Wikipediaが3%でした。 · 出典: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
  • 言語モデルの学習用に公開されたデータセットThe Pileは、論文からコード、掲示板の投稿まで、22種類の情報源を組み合わせていました。 · 出典: Gao et al., EleutherAI, The Pile, 2020
  • Llama 3は、公開されている情報源から集めた15兆トークン以上で事前学習されました。 · 出典: Meta, Introducing Meta Llama 3, 2024

更新日:

よくある質問

LLMは何のデータで学習しているのですか？

おもに文章です。公開Webページ、本、論文、百科事典、オープンソースのコード、掲示板の議論に加え、ライセンスを受けたデータや、学習のために人が書いた例が使われることもよくあります。

LLMの学習には、どれくらいのデータを使うのですか？

いまのモデルは、何兆ものトークンで事前学習されます。人が何回生まれ変わっても読み切れないほどの量です。正確な量はモデルによってちがいます。

LLMは本でも学習しているのですか？

多くのモデルがそうです。本は、ていねいに編集された長い文章だからです。どの本を、どんな条件で使ってよいかは議論になっていて、いくつもの国で裁判にもなっています。

なぜデータの配合が大切なのですか？

モデルは読んだもののパターンを学びます。コードが多ければプログラミングが得意に、言語が多ければ多言語に強くなり、かたよったデータならモデルもかたよります。

関連用語