AIのベースモデルとは何ですか?
ベースモデルは、事前学習を終えたばかりの言語モデルです。学んだのは文章の続きを書くことで、指示に従うことではないので、質問すると答えの代わりにさらに質問が返ってくることがよくあります。知識はたくさんありますが、答えが次に来るような文書の形にしないと答えてくれません。アシスタントになるための学習は、このあとです。
▶ やってみようなぜ大切なのか
何か月もの事前学習のあとにできるのは、物知りなのに助けてくれないモデルです。その理由がわかると、あとの学習がすべて何のためなのか、プロンプトがなぜそう働くのかが見えてきます。
6分後にできるようになること
- 事前学習でできるのはベースモデル。強力な続き書きで、アシスタントではありません。
- ベースモデルから役に立つ出力を得るには、次に答えが来る文書の書き出しを書きましょう。
- 「お願いします」や「あなたは役に立つ」のような指示が効くのは、アシスタントの学習を受けたモデルだけです。
練習する内容
ベースモデルに会おう
Vireoの学習したままのベースモデルに入力します。各ステップで、どうするか選びましょう。
Vireo(ベース) · 事前学習のみ
- ベースモデルを読みこみました。渡した文章が何であれ、その続きを書きます。
あなたは何かを知りたいと思っています。何と入力する?
- 植物はどう育つ? (答え)
これがベースモデルです。質問の一覧のように見えたので、いちばんありそうな続きは…さらに質問でした。- あなた: 植物はどう育つ?
- Vireo(ベース): 鳥はどう飛ぶ?
魚はどう息をする?
海はなぜしょっぱい?
- 海についての短い詩を書いて。 (答え)
あなたのお願いを宿題プリントの1行目だと思って、プリントの続きを書き続けました。- あなた: 海についての短い詩を書いて。
- Vireo(ベース): ドラゴンについての短い物語を書いて。
未来の自分に手紙を書いて。
提出は金曜日までです。
- 植物はどう育つ? (答え)
答えてくれませんでした。なぜ?
- 文書の続きを書くから。お願いに従うことはまだだれも教えていない (答え)
そのとおり。事前学習で教わったのは、Webっぽい文章の次のトークンを予測することだけ。答えるのは、あとで身につける力です。 - こわれているので再起動が必要
おしい!ちゃんと動いています。事前学習で教わったこと、つまり文章の続きを書くことを、そのとおりにしているのです。 - その話題について何も読んだことがない
おしい!その話題についてはたくさん読んでいます。ただ、あなたに答えるべきだということを知らないのです。
- 文書の続きを書くから。お願いに従うことはまだだれも教えていない (答え)
それでも答えを引き出せる?答えが、いちばんありそうな続きになるようにしよう。
- おねがいだから質問に答えて!!
おしい!お願いしても、続きを書く文章が増えるだけ。さらにお願いを書いて返してくるかもしれません。 - Q&Aのページを始める:「Q:植物はどう育つ? A:」 (答え)
Q&Aのページでは、「A:」のあとに来るのは答えです。そのあと次の質問を書き始めたことにも注目。やっぱりページの続きを書いているだけなのです。- あなた: Q:植物はどう育つ?
A: - Vireo(ベース): 植物は、日光と水と空気を使って自分で栄養を作ります。これを光合成といいます。
Q:葉っぱはなぜ緑色?
- あなた: Q:植物はどう育つ?
- おねがいだから質問に答えて!!
- この続き書きを、すなおに答えるアシスタントに変えるのが、学習の次の段階です。
続きを書いてくれる文書を組み立てよう
チップをタップして文書に足し、ベースモデルが次に何を書くか見てみましょう。役に立たないチップもあります。
ベースモデルに、空が青い理由を説明させたい。
あなたの文書:
空 青い なぜ
Vireo(ベース)の続き:
- 空 青い なぜ 夜
- 海 青い なぜ
- ゲーム 空 青い なぜ
「Q:空はなぜ青いの? A:」に書きかえる
( パターン) → A:太陽の光には、すべての色がふくまれています。
よくなった! Qのあとに A が来るパターンなら、答えがいちばんありそうな続きになります。答えつきの質問を1つ上にのせる
( 例) → 空気は、赤い光より青い光をずっと多く散らすので、
よくなった! 例があると、次にどんな文章が来るか、つまりはっきりした答えが来ることが、モデルにそのまま伝わります。ページに「先生が答える理科の質問」と題をつける
( 枠組み) → 空のどこからでも青い光が目に届くのです。
よくなった! 枠組みが文書の種類を決めます。先生の答えはわかりやすく正確なので、続きもそうなります。「答えてください、お願いします!」を足す
( お願い) · 取り除きました
おしい! ベースモデルはお願いに従いません。「お願いします」も、続きを書く文章が増えるだけです。「あなたは役に立つアシスタントです。」を足す
( お願い) · 取り除きました
おしい! その1行が効くのは、学習ずみのアシスタントです。ベースモデルにとっては、文書の中のただの1文です。
今度は、海についての2行の短い詩がほしい。
あなたの文書:
海 詩
Vireo(ベース)の続き:
- 月 詩
- 海 詩 子ども向け 無料
- 詩 自動作成 オンライン
詩集のページを始める:「海の詩 12ページ」
( 枠組み) → 波
よくなった! 詩集の中なら、いちばんありそうな続きは詩です。まずは題名から。雨についての短い詩を上に貼る
( 例) → 寄せる波 返す波が
よくなった! 例が長さと調子を決めるので、モデルはそのパターン、短い2行をまねします。題名と改行で終えて、詩が始まる形にする
( パターン) → 海のひみつを ささやいた
よくなった! ちょうど詩が始まるところで止めれば、自然な続きは詩しかありません。「最高にすごいのにして!!!」を足す
( お願い) · 取り除きました
おしい! あおり言葉では文書の種類は変わらないので、続きも変わりません。「検索ワードの一覧は書かないで」を足す
( お願い) · 取り除きました
おしい! 指示ではベースモデルを動かせません。ルールの続きを書き始めることさえあります。
ベースモデル?アシスタント?
ベースモデルからの返事はどっち?
- 「ピザのいちばんおいしい具は?」と聞いたら「ハンバーガーのいちばんおいしい具は?アイスのいちばんおいしい味は?」 (答え)
- 「ピザのいちばんおいしい具は?」と聞いたら「好みはいろいろですが、きのこは人気ですよ。」
では、Vireoのベースモデルがすでに持っているものと、足りないものは?
- 知識と言葉の力はたくさんあるが、助けるという習慣がない (答え)
- まだ役に立つものは何もなく、知識はすべてあとから来る
覚えておこう
ベースモデルは文書の続きを書きます。物知りですが、答えがいちばんありそうな続きのときしか答えません。次はアシスタントの学習です。
ベースモデルは文書の続きを書きます。答えがほしいなら、答えがいちばんありそうな続きになるようにしましょう。
押さえておきたい事実
- GPT-3は、事前学習したモデルが、プロンプトにいくつか例を入れるだけで、学習し直さずに新しい作業をこなせることを示しました。few-shotプロンプトと呼ばれる方法です。 · 出典: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- 評価者は、指示に従うよう学習した13億パラメータのモデルの答えを、1750億パラメータのGPT-3のベースモデルの答えより好みました。 · 出典: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
- 多くの研究所は、モデルを2つの形で公開しています。研究者が土台にするベースモデルと、会話用に指示チューニングしたモデルです。
- モデルの知識のほとんどは事前学習から来ます。あとのアシスタントの学習が使うデータはずっと少なく、おもにモデルのふるまいを形づくります。
更新日:
よくある質問
ベースモデルとチャットモデルのちがいは何ですか?
ベースモデルは事前学習だけなので、文章の続きを書きます。チャットモデルは、同じベースモデルに指示と人間のフィードバックで追加の学習をしたもので、質問に答え、お願いに従います。
なぜベースモデルは指示に従わないのですか?
ふつうの文章の次のトークンを予測することしか学習していないからです。Webでは、質問のあとにさらに質問が続くことがよくあるので、それを書くのです。
few-shotプロンプトとは何ですか?
プロンプトに解いた例をいくつか入れて、モデルにそのパターンの続きを書かせる方法です。ベースモデルはパターンをまねるのがとても得意なので、よく効きます。
研究所はなぜベースモデルを公開するのですか?
研究者や開発者が、自分たちの専門的なモデルをファインチューニングする出発点にしたり、事前学習だけで何ができるかを調べたりするためです。
関連用語
