Comment sont créés les LLM / Glossaire

Robot d'indexation (crawler)

Un robot d'indexation, ou crawler, est un programme qui visite des pages web automatiquement, enregistre leur contenu et suit leurs liens pour trouver d'autres pages. Les crawlers collectent une grande partie du texte qui sert à entraîner les modèles de langage.

Un crawler part d'une liste d'adresses, télécharge chaque page, repère les liens et les ajoute à sa liste de tâches. Répété des millions de fois, cela cartographie et copie une grande partie du web public. Les moteurs de recherche utilisent des crawlers depuis les années 1990.

Pour l'IA, les pages collectées sont la plus grande source de texte d'entraînement. Common Crawl, une association à but non lucratif, archive des milliards de pages web depuis 2008 et les partage gratuitement ; des versions filtrées alimentent de nombreux modèles de langage.

Les crawlers bien élevés donnent leur nom et respectent les règles qu'un site fixe dans son fichier robots.txt. Le texte brut collecté est désordonné : il est nettoyé, filtré et dédoublonné avant l'entraînement, et la plus grande partie est jetée.