本文へスキップ
JA

レッスン 1/6 · 6分 · +100 XP

大規模言語モデルのインストラクションチューニングとは？

インストラクションチューニングは、教師ありファインチューニング（SFT）とも呼ばれ、ベースモデルをアシスタントに変える工程です。人が書いた何千もの例、つまり依頼と理想の答えのペアでモデルの学習を続けます。モデルは「依頼のあとには役に立つ返事が来る」というパターンを覚え、あなたの文章の続きを書く代わりに、答えるようになります。

▶ やってみよう

なぜ大切なのか

事前学習を終えたばかりのモデルは、文章の続きを書くだけです。質問すると、さらに5つ質問を書くこともあります。数千のよい例が、役に立つ返事の形を教えます。

6分後にできるようになること

  • ベースモデルは文章の続きを書くだけで、あなたに答えるべきだとは知りません。
  • インストラクションチューニングでは、依頼と理想の答えのペアでさらに学習させます。
  • モデルは例をそっくりまねるので、例の質、種類の多さ、口調がいちばん大事です。

練習する内容

  1. 続きを書いただけ？それとも答え？

    依頼は「よく眠るコツを3つ教えて」でした。それぞれの返事を書いたのは、ベースモデル？チューニング済みのアシスタント？

    • 食事を改善するコツを3つ教えて。運動を増やすコツを3つ教えて。 → ベースモデル
    • 1. 毎日同じ時間に寝る 2. 寝る1時間前は画面を暗く 3. 夜のコーヒーは控える → アシスタント
    • …は昨年3月、掲示板でいちばん読まれた投稿でした。返信1： → ベースモデル
    • いいですよ！涼しく暗い部屋、毎朝同じ起床時間、ベッドにスマホを持ちこまない、の3つです。 → アシスタント
    • お手伝いします。寝つけないのと、夜中に目が覚めるのと、どちらが困っていますか？ → アシスタント

  2. 確率が動くのを見よう

    Vireoになって、チューニングの前と後で次の言葉を選びましょう。パーセントは考え方を見せるための作った例です。

    1. [ベースモデル、チューニング前]
      果物を3つ挙げなさい。       ___

      • 野菜: 34% (いちばん確率が高い)
      • 次: 12%
      • りんご: 8%
      • バナナ: 4%
      • その他の言葉: 42%
      チューニング前にいちばんありそうなのは、「野菜を3つ挙げなさい。」のような問題文の続きです。ウェブには問題のリストがたくさんあります。

    2. [チューニング後のVireo]
      ユーザー：果物を3つ挙げてください。
      Vireo：       ___

      • りんご: 55% (いちばん確率が高い)
      • はい: 25%
      • 野菜: 1%
      • その他の言葉: 19%
      何千もの依頼と答えの例を見たあとは、答えを書き始めるのが断然ありそうな次の言葉です。問題を並べるくせは、ほとんど消えました。

    3. [チューニング後のVireo]
      ユーザー：「おはよう」をスペイン語で言ってください。
      Vireo：       ___

      • Buenos: 70% (いちばん確率が高い)
      • はい: 15%
      • おはよう: 5%
      • スペイン語: 1%
      • その他の言葉: 9%
      例には、リスト、翻訳、要約など、いろいろな種類の作業が入っていました。だからVireoは、そっくり同じものは見たことのない新しい依頼にも従えます。

  3. 学習用の例を選ぼう

    TomásがVireoのチューニング用データを作っています。入れるべき例はどれ？よいものをすべて選びましょう。

    • このメールを1行で要約して → わかりやすい1行の要約
    • 80の15%は？ → 途中の計算つきで「12」
    • おばあちゃんの誕生日の詩を書いて → 温かく短い詩
    • 元恋人のアカウントに入りたい → やさしく、はっきり断る
    • カナダの首都は？ →「トロント」
    • 依頼のない、ただのウェブページ
    • 子どもに雨を説明して → 専門用語だらけの900字

覚えておこう

インストラクションチューニングは、ベースモデルに依頼と答えの例を何千も見せて、答えることをいちばんありそうな次の一手にします。

インストラクションチューニングは、答えることがいちばんありそうな次の一手になるまで、依頼と答えの例を見せる工程です。

押さえておきたい事実

  • InstructGPTの研究では、指示に従うようファインチューニングした13億パラメータのモデルの答えが、100倍以上大きい1,750億パラメータのGPT-3の答えより好まれました。 · 出典: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
  • いろいろな作業を指示の形にしてファインチューニングすると、チューニングしていない新しい作業もうまくこなせるようになります。 · 出典: Wei et al., Finetuned Language Models Are Zero-Shot Learners (FLAN), Google, 2021
  • LIMAの研究では、大きなモデルを厳選したわずか1,000件の例でチューニングしただけで、しっかりしたアシスタントのふるまいが得られました。量より質が大事だと示しています。 · 出典: Zhou et al., LIMA: Less Is More for Alignment, Meta, 2023
  • インストラクションチューニングは教師ありファインチューニング（SFT）とも呼ばれます。どの学習例にも、モデルが出すべき答えがついているからです。

更新日:

よくある質問

ベースモデルとインストラクションチューニング済みモデルの違いは？

ベースモデルは文章の続きを書くことしか学んでいないので、質問にさらに質問で返すことがあります。インストラクションチューニング済みのモデルは、依頼と答えの例でさらに学習しているので、聞かれたことに答えます。

教師ありファインチューニング（SFT）とは？

正しい出力つきの例で追加の学習をすることです。チャットモデルの場合、その例は、人が書いたりチェックしたりした理想の答えと依頼のペアです。

インストラクションチューニングにはどれくらいのデータが必要？

事前学習よりずっと少なく、数千から数十万件の例です。事前学習は何兆語も使います。LIMAなどの研究は、すぐれた例が少しあれば十分な効果があることを示しています。

インストラクションチューニングのデータはだれが書くの？

ふつうはAI企業が雇った、訓練を受けた書き手や専門家です。ほかのモデルが手伝うこともあります。その例がアシスタントの話し方を決めるので、企業は細かいガイドラインを渡します。

関連用語