Comment sont créés les LLM / Glossaire

robots.txt

robots.txt est un petit fichier texte sur un site web qui indique aux crawlers les pages qu'ils peuvent visiter ou non. Les propriétaires de sites peuvent s'en servir pour demander aux crawlers d'IA de ne pas collecter leur contenu.

Le fichier se trouve à la racine d'un site, par exemple exemple.fr/robots.txt. Il liste des crawlers par leur nom et les parties du site que chacun doit éviter. L'idée date de 1994 et est devenue un standard d'internet en 2022.

Beaucoup d'entreprises d'IA publient le nom de leurs crawlers pour que les sites puissent les bloquer un par un, et des chercheurs ont constaté que les sites ont restreint les crawlers d'IA bien plus souvent en 2023 et 2024 qu'avant. Dans l'UE, robots.txt est l'un des moyens lisibles par machine pour que les titulaires de droits réservent leurs œuvres contre la fouille de textes et de données.

robots.txt est une demande, pas un verrou : les crawlers polis la respectent, mais rien ne les y oblige techniquement. Bloquer un crawler n'arrête que la collecte future ; cela ne retire pas le texte des modèles déjà entraînés.