言語モデルの学習データは、どうやって掃除するの？
Webから集めたままの文章は散らかっているので、学習の前にお掃除ラインを通します。フィルターがメニューやCookieのお知らせをはがし、こわれたページを落とし、スパムや同じ文章のコピーを取りのぞき、おもにきちんと書かれた文を残し、メールアドレスや電話番号などの個人情報を消します。集めた文章の大部分は捨てられます。データがきれいなほど、モデルはよくなります。
▶ やってみよう
なぜ大切なのか
モデルは読んだものを何でも学びます。スパムも、コピーも、電話番号も。お掃除は、モデルがどんな話し方をし、何をくり返しかねないかを決めます。
6分後にできるようになること
- 公開したものはクロールに入るかもしれません。電話番号や住所は、だれでも見られるページに書かないようにしましょう。
- モデルがスパムっぽい言い回しや変な決まり文句をくり返すなら、それはデータに入っていたもののしるしです。
- AIの提供会社に、個人情報をどうふるいにかけているかを聞きましょう。よい会社は説明資料に書いています。
練習する内容
ページをはがそう
クローラーがこのニュースページを保存しました。記事そのものではない部分を全部タップしましょう。
みなと日報
🍪 Cookieを使用しています。すべて許可しますか？
ホーム・ニュース・スポーツ・天気・ログイン
町に「モノの図書館」がオープン
月曜日から、住民はドリル、テント、ミシンを無料で借りられます。「一度しか使わない道具を買う人が多かったんです」と司書の鈴木 由美さんは話します。
【PR】3日で10kgやせる!!! 今すぐクリック
© みなと日報・プライバシー・利用規約・SNSでシェアお掃除ラインを動かそう
ページが1枚ずつ届きます。個人情報をタップして黒くぬりつぶし、ページを正しい箱に送りましょう。
ミツバチが巣に帰れるわけ (nature-notes.example/bees) → ✅ 残す
ミツバチは太陽を方位磁石のように使います。くもりの日は光の模様を読み、木やフェンスなど、道中の目印も覚えています。
わかりやすく、よく書けた記事です。まさにVireoが学ぶべき文章です。
激安スニーカー 最安 激安 スニーカー 購入 (best-cheap-shoes.example/cheap-shoes) → 🚫 スパム
激安スニーカー 最安スニーカー 今すぐ購入 激安スニーカー 送料無料 激安スニーカー 最安値 ここをクリック 激安スニーカー!!!
人ではなく検索エンジン向けにキーワードを詰めこんだページです。これを読んだモデルは、意味のないことをしゃべるようになります。
Re: 自転車のチェーンがキーキー鳴る (fixit-forum.example/squeaky-chain) → ✅ 残す
布でチェーンをふいて、コマ1つに油を1滴ずつ差し、ペダルを回してください。まだ鳴るなら、
misaki.s@mailbox.example[メール] にメールするか、03-5555-0142[電話] に電話を。実在の人からの役に立つアドバイスです。残しますが、連絡先を黒くぬりつぶしてからです。
- [メール] misaki.s@mailbox.example: メールアドレスは実在の人につながります。アドレスは消して、役に立つアドバイスは残します。
- [電話] 03-5555-0142: 電話番号は個人情報です。覚えてしまったモデルが、だれにでも教えてしまうかもしれません。
ミツバチが巣に帰れるわけ (copy-news.example/bees-home) → 📑 重複
ミツバチは太陽を方位磁石のように使います。くもりの日は光の模様を読み、木やフェンスなど、道中の目印も覚えています。
さっき見たミツバチの記事と同じ指紋です。くり返しの文章は、学ぶ代わりに丸暗記をさせてしまいます。
読み込み中… (shop.example/loading) → 🧩 こわれている
すべてのCookieを許可しますか？ はい・いいえ・メニュー・ホーム・ログイン・カート（0）・© All rights reserved・読み込み中… 読み込み中…
ボタンとメニューだけで、ちゃんとした文がありません。こういうこわれたページは捨てます。
20分でできるトマトスープ (home-kitchen.example/tomato-soup) → ✅ 残す
玉ねぎをオリーブオイルでしんなりさせ、トマト缶2つと砂糖ひとつまみを加えて15分煮こみ、ミキサーにかけます。ナポリで作られているのと同じ味です。
ちゃんとした文で書かれた、わかりやすいレシピです。学習データに入れましょう。
- ✓ ナポリ: 都市名は個人情報ではなく、レシピのお話の一部です。消すのは、人につながる情報だけです。
おすすめランキングTOP10 最強おすすめ (top10-reviews.example/top-10-best) → 🚫 スパム
おすすめ商品TOP10。最強おすすめ商品レビュー。この商品は最高の結果のための最高の商品です。最高の商品を購入。最強TOP10。
同じことをくり返すだけで何も言っていない、機械が作った水増しの文章です。質のフィルターが落とします。
なぜ掃除するの？
同じ記事がクロールの中に500回出てきます。なぜコピーを1つだけ残すの？
- くり返すと、モデルがその文をそのまま丸暗記しやすくなるから (答え)
- コピーでも平気。データは多いほどいいから
お掃除ラインは、個人情報をすべてつかまえられる？
- いいえ。フィルターは見落とすので、すりぬけるものもある (答え)
- はい。コンピューターは名前も番号も全部見つける
覚えておこう
モデルのよさは、学ぶ文章のよさで決まります。お掃除で、ゴミとコピーを捨て、個人情報を消します。
集めた文章のほとんどは学習まで届きません。残ったものは、ふるいにかけ、重複を除き、個人情報を消したものです。
押さえておきたい事実
- 学習データから重複した文章を取りのぞくと、言語モデルが暗記した文をそのまま出すことがずっと減り、学習の効率も上がりました。 · 出典: Lee et al., Deduplicating Training Data Makes Language Models Better, ACL 2022
- 研究者は、言語モデルが学習データの一部を、名前、電話番号、メールアドレスも含めて、そのまま再現できることを示しました。 · 出典: Carlini et al., Extracting Training Data from Large Language Models, USENIX Security 2021
- C4データセットは、単純なルールでCommon Crawlを掃除して作られました。句読点で終わる行を残し、仮の文章やコードがあるページを落とし、くり返しの文を取りのぞきます。 · 出典: Raffel et al., Google, Exploring the Limits of Transfer Learning (T5), 2020
- データのお掃除では、ふつうクローラーが集めたものの大部分が取りのぞかれます。だから、チームはとても大きなクロールから始めるのです。
更新日:
よくある質問
AI企業は学習データをどうやって掃除しているのですか？
各ページから本文を取り出し、スパム、こわれたページ、質の低いページをふるい落とし、重複を取りのぞき、メールアドレスや電話番号などの個人情報を消します。小さなモデルで文章の質に点数をつけるチームも多くあります。
なぜ学習データから重複を取りのぞくのですか？
何度も見た文章ほど、モデルは丸暗記してそのまま出しやすくなります。学ぶにはコピー1つで十分で、残りを取りのぞけば計算時間も節約できます。
AIの学習データから個人情報は取りのぞかれていますか？
ふつうは一部が取りのぞかれます。フィルターはメールアドレスや電話番号のようなパターンをつかまえます。でもフィルターは見落とすこともあるので、個人情報がすりぬけることはあります。
関連用語