Come nascono gli LLM / Glossario

Web crawler

Un web crawler è un programma che visita automaticamente le pagine web, ne salva il contenuto e segue i link per trovarne altre. I crawler raccolgono gran parte del testo usato per addestrare i modelli linguistici.

Un crawler parte da un elenco di indirizzi, scarica ogni pagina, estrae i link e li aggiunge alla sua lista di cose da fare. Ripetuto milioni di volte, questo mappa e copia una grande parte del web pubblico. I motori di ricerca usano i crawler dagli anni Novanta.

Per l’IA le pagine raccolte dai crawler sono la fonte di testo di addestramento più grande. Common Crawl, un’organizzazione non profit, archivia miliardi di pagine web dal 2008 e le condivide gratis, e sue versioni filtrate alimentano molti modelli linguistici.

I crawler corretti dichiarano il proprio nome e seguono le regole che un sito fissa nel suo file robots.txt. Il testo raccolto è disordinato, quindi viene pulito, filtrato e deduplicato prima dell’addestramento, e la maggior parte viene scartata.