Webクローラー

Webクローラーは、Webページを自動で訪れて中身を保存し、リンクをたどってさらにページを見つけるプログラムです。言語モデルの学習に使う文章の多くはクローラーが集めています。

クローラーはアドレスの一覧から始めて、各ページをダウンロードし、リンクを取り出して「次に行く」リストに足します。これを何百万回もくり返すと、公開されたWebの大部分を地図にしてコピーできます。検索エンジンは1990年代からクローラーを使っています。

AIにとって、クロールしたページは学習用テキストの最大の情報源です。非営利団体のCommon Crawlは2008年から何十億ものWebページを保存して無料で公開しており、それをふるいにかけたものが多くの言語モデルに使われています。

行儀のよいクローラーは名前を名乗り、サイトがrobots.txtに書いたルールに従います。クロールしたままの文章は散らかっているので、学習の前に掃除し、ふるいにかけ、重複を取りのぞきます。そして大部分は捨てられます。