モデルカードとは？AIの公開では何を伝えるべき？
モデルカードは、AIモデルといっしょに公開される短い文書で、食品の成分表示のようなものです。モデルが何に向いていて何に向いていないか、どう学習したか、テスト結果、わかっている限界、通過した安全チェックが書かれています。責任ある公開では、段階的な提供、公開後の監視、問題を報告する方法も加わります。
▶ やってみよう
なぜ大切なのか
製造ラインの最後の工程は公開です。よいモデルカードがあれば、開発者から記者、そしてあなたまで、だれもがモデルにできること、失敗するところ、どうチェックされたかを確かめられます。
6分後にできるようになること
- 想定する用途、わかっている限界、名前つきのテスト結果、安全性の発見を確かめましょう。
- 「結果は優秀」「限界なし」のようなあいまいな主張は危険信号です。
- 責任ある公開では、データ、点数、攻撃を公開前にチェックし、公開後も見守り続けます。
練習する内容
カードには何をのせる？
よいモデルカードにのせるべきものを、すべて選びましょう。
- モデルが何に向いていて、何に向いていないか
- わかっている限界と弱点
- テストの名前つきのテスト結果
- 安全性テストとレッドチームの発見
- どんな種類のデータで学習したか
- 絶対にまちがえないという約束
- すべてのユーザーのプライベートなチャット
危険信号を見つけよう
架空のスタートアップQuickstep AIが、モデルカードを急いで公開しました。気になる部分をタップしましょう。
Nimbus-1 · モデルカード
モデル：Nimbus-1、チャットモデル。
サイズ：30億パラメータ。
想定する用途：医療や法律のアドバイスを含む、あらゆる作業。
学習データ：インターネットのデータ。
言語：英語とスペイン語。
評価：たくさんのベンチマークでテスト済み。結果：優秀。
わかっている限界：なし。
ライセンス：研究目的のみ。Vireoの公開ラインを動かそう
公開前のチェックをタップし、そのチェックが問題を見つけられる工程をタップしましょう。そのあと公開を実行して、5つの変更が一般公開へ向かうのを見ます。
収集 → テスト → 攻撃 → 公開 → 一般公開
公開前のチェック
- データチェック → 収集
データチェックは収集に置きます。個人情報や不要なデータは、学習のあとではなく前に取り除く必要があります。 - ベンチマーク → テスト
ベンチマークはテストで行います。学習済みのモデルができて、採点して前のバージョンとくらべられるようになってからです。 - レッドチーム審査 → 攻撃
レッドチームは攻撃で仕事をします。ほかのだれかが試す前に、完成したモデルに巧妙なプロンプトをぶつけます。 - カードの確認 → 公開
カードは公開で確認します。公開ページの約束はすべて、テストで実際にわかったことと合っていなければなりません。
公開ログ
- 佐藤さん: 新しいウェブの文章を追加
収集でデータチェックが発見: まぎれこんでいた、流出した顧客リスト. 対策： 取り除いて、学習データを作り直す。 - 田中さん: モデルの高速化の調整
テストでベンチマークが発見: 数学の点数が9ポイント下がった. 対策： 調整を元に戻して、再テストする。 - 鈴木さん: もっと親しみやすい性格に
攻撃でレッドチーム審査が発見: ロールプレイで有害な答えが出るようになった. 対策： ロールプレイ用の安全性トレーニングを足して、再テストする。 - 高橋さん: あいさつ文の誤字を修正
安全に公開 - 伊藤さん: 公開ページ：「医療の診断にも安全」
公開でカードの確認が発見: どのテストも裏づけていない約束. 対策： 医療のアドバイスを「向いていない用途」にのせる。
- データチェック → 収集
覚えておこう
モデルカードは、モデルが何のためのものか、どこで失敗するか、どうテストされたかを伝えます。カードがない、またはあいまいなら、注意のサインです。
押さえておきたい事実
- モデルカードは2019年に、モデルの想定する用途、グループごとの性能、限界を伝える短い文書として提案されました。 · 出典: Mitchell et al., Model Cards for Model Reporting, FAT* 2019
- 姉妹となる考え方「データセットのためのデータシート」は、データセットの作り手に、データの出どころ、集め方、何に使うべきかを記録するよう求めます。 · 出典: Gebru et al., Datasheets for Datasets, Communications of the ACM, 2021
- 2019年、OpenAIはGPT-2を、小さな版から段階的に公開し、いちばん大きな版を出す前に悪用のされ方を調べました。 · 出典: Solaiman et al., Release Strategies and the Social Impacts of Language Models, OpenAI, 2019
- EUのAI法（AI Act）では、汎用AIモデルの提供者は技術文書を保管し、そのモデルを使って開発する人に、モデルの能力と限界についての情報を提供しなければなりません。 · 出典: EU Artificial Intelligence Act, Regulation (EU) 2024/1689, Article 53
更新日:
よくある質問
AIのモデルカードとは？
AIモデルといっしょに公開される短い文書です。モデルが何のためのものか、どう学習・テストされたか、どれくらいの性能か、どこで失敗することがわかっているかを説明します。
モデルカードとシステムカードの違いは？
モデルカードは1つのモデルを説明します。一部の研究所が使うシステムカードは、安全性テストやフィルター、提供のしかたを含め、モデルを中心に作られた製品全体を扱います。
AIモデルが段階的に公開されるのはなぜ？
まず少人数に公開すると、研究所はモデルがどう使われるかを見て、何百万人もの人が頼るようになる前に問題を直せるからです。
モデルのモデルカードはどこで見られる？
ふつうは研究所のウェブサイトの発表のそば、技術レポートの中、またはモデルをダウンロードできるページにあります。
関連用語