Como os LLMs são feitos / Glossário

Web crawler (rastreador)

Um web crawler é um programa que visita páginas da web automaticamente, salva o conteúdo e segue os links para achar mais páginas. Os crawlers coletam boa parte do texto usado para treinar modelos de linguagem.

Um crawler começa com uma lista de endereços, baixa cada página, separa os links e coloca na sua lista de tarefas. Repetido milhões de vezes, isso mapeia e copia uma grande parte da web pública. Os buscadores usam crawlers desde os anos 1990.

Para a IA, páginas coletadas por crawlers são a maior fonte individual de texto de treino. A Common Crawl, uma organização sem fins lucrativos, arquiva bilhões de páginas da web desde 2008 e as compartilha de graça, e versões filtradas desse acervo alimentam muitos modelos de linguagem.

Crawlers bem-comportados se identificam e seguem as regras que um site define no arquivo robots.txt. O texto bruto coletado é bagunçado, então ele é limpo, filtrado e deduplicado antes do treino, e a maior parte vai para o lixo.