robots.txt

robots.txtは、Webサイトに置く小さなテキストファイルで、クローラーにどのページを訪れてよいか、だめかを伝えます。サイトの持ち主は、AIのクローラーに中身を集めないよう頼むのに使えます。

このファイルはサイトのいちばん上、たとえば example.com/robots.txt に置かれます。クローラーの名前と、それぞれが入ってはいけない場所が書かれています。考え方は1994年からあり、2022年にインターネットの標準になりました。

多くのAI企業はクローラーの名前を公開しているので、サイトは1つずつブロックできます。研究者の調査では、2023年と2024年にAIクローラーを制限するサイトが大きく増えました。EUでは、robots.txtは権利者が作品をテキスト・データマイニングから外すための、機械が読める方法の1つです。

robots.txtは「お願い」であって「鍵」ではありません。礼儀正しいクローラーは従いますが、技術的に強制するものはありません。また、ブロックで止まるのはこれからの収集だけで、すでに学習したモデルから文章が消えるわけではありません。