本文へスキップ
JA

レッスン 1/6 · 6分 · +100 XP

大規模言語モデル（LLM）とは何ですか？

大規模言語モデル（LLM）は、大量の文章で学習し、たった1つのこと、つまり次に来る文章のかけらを予測するAIです。文章を受け取ると、次のトークンの候補すべてに点数をつけ、ありそうなものを1つ選び、それをくり返します。学習で調整された何十億もの数字にパターンがたくわえられているので、質問に答えたり、翻訳や要約をしたり、コードを書いたりできます。

▶ やってみよう

なぜ大切なのか

どのチャットボットもLLMで動いています。次の言葉を予測するマシンだとわかれば、なぜ文章がなめらかなのか、なぜ物知りなのか、なのになぜ自信たっぷりにまちがえるのかが見えてきます。

6分後にできるようになること

  • チャットボットが答えるときは、次の言葉に順位をつけているところを思いうかべましょう。なめらかさとうっかりミスの両方の理由がわかります。
  • 名前、日付、数字は確かめましょう。それらしく聞こえる答えが、作り話のこともあります。
  • 下書き、説明、言いかえに使いましょう。そこでは「ありそうな言い回し」こそほしいものです。

練習する内容

  1. 大規模・言語・モデル

    カードをタップして、名前の意味をひもといてみましょう。

    📏 大規模
    パラメータと呼ばれる何十億もの調整できる数字を、何兆語もの文章で学習させています。この大きさが、うまく動く大きな理由です。
    💬 言語
    文章をあつかいます。読むのも書くのも、たくさんの人間の言語でも、プログラミングのコードでもできます。
    🧮 モデル
    巨大な数学の関数です。文章を入れると、次に来るトークンの候補すべてに点数が出てきます。
    🎯 で、実際には何をしているの？
    たった1つのことを、何度も：次の文章のかけらを予測すること。答える、要約する、翻訳する、はすべてその上に成り立っています。

  2. Vireoの席に座ろう

    次に来ると思う言葉を選んでから、それぞれの候補がどれくらいありそうだったかを見てみましょう。パーセントは説明のための例です。

    1. ネコがソファの ___

      • 上: 62% (いちばん確率が高い)
      • 下: 21%
      • 横: 9%
      • 月: 0.1%
      • その他の言葉: 8%
      Vireoはこの言い回しを何度も見てきたので、「上」がほかを大きく引きはなしています。モデルが出すのは、いつもこんな順位つきのリストだけです。

    2. 水は0度で ___

      • 凍る: 80% (いちばん確率が高い)
      • 沸騰する: 5%
      • 冷たい: 2%
      • その他の言葉: 13%
      数えきれない文章でくり返される事実は、強い予測になります。モデルが何かを「知っている」とは、事実の一覧ではなく、パターンとして持っているということです。

    3. 英語にすると：おはよう → ___

      • Good morning: 88% (いちばん確率が高い)
      • Good night: 4%
      • Hello: 2%
      • その他の言葉: 6%
      だれも翻訳機をプログラムしていません。たくさんの言語の文章を予測するうちに、Vireoはどの言葉どうしが対応するかを学んだのです。

    4. Vireo Labsの学習エンジニア、Tomásが生まれたのは ___

      • スペイン: 20% (いちばん確率が高い)
      • 1990年: 14%
      • リスボン: 10%
      • メキシコ: 9%
      • その他の言葉: 47%
      VireoはTomásについて読んだことがないのに、候補に順位をつけて1つ選んでしまいます。こうして、なめらかな答えがただの作り話になることがあるのです。

  3. 本当？それとも思いこみ？

    大規模言語モデルについての文を仕分けましょう。

    • 大量の文章から学んだ → 本当
    • データベースで答えを調べている → 思いこみ
    • 1トークンずつ書いている → 本当
    • 答えごとにだれかがルールを書いた → 思いこみ
    • 自信たっぷりでもまちがえることがある → 本当
    • いつも同じ答えを返す → 思いこみ

  4. 製造ライン

    この講座では、Vireoが文章の山からアシスタントになるまでを追いかけます。工程を順番に並べましょう。

    1. 大量の文章を集める
    2. 掃除して、トークンに切り分ける
    3. 事前学習：次のトークン当てを何兆回も
    4. 指示とフィードバックに従うようファインチューニング
    5. しっかりテストしてから公開する

覚えておこう

LLMは、大量の文章で学習した「次のトークン」予測マシンです。なめらか＝ありそう、であって、本当とはかぎりません。

LLMは次のトークンを何度も予測します。その知識は、何十億もの数字にたくわえられたパターンです。

押さえておきたい事実

  • いまの大規模言語モデルのほとんどは、2017年の論文で発表された設計、Transformerを土台にしています。 · 出典: Vaswani et al., Google, Attention Is All You Need, NeurIPS 2017
  • GPT-3には、モデルが学んだことをたくわえる調整できる数字、パラメータが1750億個ありました。 · 出典: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
  • Llama 3は、15兆トークン以上の文章で事前学習されました。 · 出典: Meta, Introducing Meta Llama 3, 2024
  • 指示に従うようファインチューニングした13億パラメータのモデルの答えが、1750億パラメータのGPT-3の答えより好まれました。事前学習のあとの学習が大切なのです。 · 出典: Ouyang et al., OpenAI, Training language models to follow instructions with human feedback, 2022

更新日:

よくある質問

LLMは何の略ですか？

LLMはLarge Language Modelの略で、日本語では大規模言語モデルです。何十億ものパラメータを持ち、大量の文章で次のトークンを予測するよう学習したAIモデルです。

チャットボットとLLMは同じものですか？

チャットボットは、LLMを中心に作られたアプリです。モデルは文章を予測し、アプリがチャット画面、指示に従うための追加の学習、安全のルール、ときにはWeb検索などのツールを加えます。

大規模言語モデルは、自分の言っていることを理解していますか？

人と同じようにではありません。言葉のとても細かいパターンを学んでいるので役に立ちますが、文が本当かどうかを確かめるしくみは、もともと持っていません。

なぜ「大規模」と呼ばれるのですか？

大きさのためです。何十億ものパラメータを、ばく大な計算能力を使って何兆語もの文章で学習させています。より多くのデータで学習した大きなモデルほど、一般に能力が高くなってきました。

関連用語