Jak powstają modele językowe / Słowniczek

Crawler (robot internetowy)

Crawler to program, który automatycznie odwiedza strony internetowe, zapisuje ich treść i podąża za linkami, by znaleźć kolejne. Crawlery zbierają dużą część tekstu używanego do trenowania modeli językowych.

Crawler zaczyna od listy adresów, pobiera każdą stronę, wyłuskuje linki i dopisuje je do swojej listy zadań. Powtórzone miliony razy, to mapuje i kopiuje dużą część publicznej sieci. Wyszukiwarki używają crawlerów od lat 90.

Dla AI strony zebrane przez crawlery to największe pojedyncze źródło tekstu treningowego. Organizacja non-profit Common Crawl archiwizuje od 2008 roku miliardy stron i udostępnia je za darmo, a jej przefiltrowane wersje zasilają wiele modeli językowych.

Dobrze wychowane crawlery przedstawiają się z nazwy i przestrzegają zasad, które strona zapisała w pliku robots.txt. Surowy tekst z sieci jest bałaganiarski, więc przed treningiem się go czyści, filtruje i usuwa duplikaty, a większość ląduje w koszu.