すべてのトピック / LLMができるまで
大規模言語モデル（LLM）ができるまで：文章の山からチャットボットへ
1つのモデルを追いかけて、工場の全工程を見学します。文章を集めて掃除し、トークンに切り分け、何千ものチップで何か月も「次のトークン当て」を練習し、最後にただの文章の続き書きを、役に立つアシスタントに育てます。1レッスンは6分の図解アニメとミニゲーム。数学もコードもいりません。
- 24レッスン
- 144分
- 無料
- 登録不要
こんにちは、Tomásです。Vireo Labsで言語モデルの学習を担当しています。散らかったWebページの山から、質問に答えるモデルができるまで、製造ラインの持ち場を1つずつ案内します。どこで難しい判断をしているのかも見せますね。
原材料
文章はどこから来て、どう掃除され、どう数字になるのか
事前学習
Transformer、アテンション、何か月も続く次のトークン当て
アシスタントになる
指示、人間のフィードバック、推論、安全、ツール
テストと公開
ベンチマーク、レッドチーム、モデルの小型化、返答の作られ方
使い方
- 01
見る
アニメーションの図で、仕組みが本当はどう動くのかがわかります。
- 02
試す
短いゲームで実際に使ってみます。見つける、分ける、切り替える、判断する。
- 03
身につける
3つのポイントと、シートに貼るバッジがもらえます。
よくある質問
数学やプログラミングの知識は必要ですか？
いいえ。どの工程も、身近な例を使った図解アニメで見せます。トークン、重み、報酬モデルが何なのか、数式を1つも使わずにわかります。
大規模言語モデルの学習には、どれくらい時間がかかりますか？
最先端のモデルの事前学習は、ふつう何千もの専用チップを使って数週間から数か月かかります。その前にデータを集めて掃除する長い期間があり、アシスタントにするためのファインチューニングはさらにその後です。
この講座は無料ですか？
はい。すべてのレッスンが無料で使えます。登録も、お試し期間も、有料の壁もありません。サインインは、ほかの端末と進み具合を同期したいときだけです。
AIリテラシーの講座とは何がちがいますか？
AIリテラシーは、AIを理解して上手に使うための講座です。この講座は舞台裏に入り、1つのモデルが作られ、テストされ、公開されるまでの全工程を追いかけます。