Como os LLMs são feitos / Glossário

robots.txt

robots.txt é um pequeno arquivo de texto num site que diz aos crawlers quais páginas eles podem ou não visitar. Donos de sites podem usá-lo para pedir que crawlers de IA não coletem seu conteúdo.

O arquivo fica na raiz do site, por exemplo exemplo.com.br/robots.txt. Ele lista crawlers pelo nome e as partes do site que cada um deve evitar. A ideia surgiu em 1994 e virou padrão da internet em 2022.

Muitas empresas de IA publicam os nomes dos seus crawlers para que os sites possam bloqueá-los um a um, e pesquisadores viram que os sites restringiram crawlers de IA com muito mais frequência em 2023 e 2024 do que antes. Na União Europeia, o robots.txt é uma forma legível por máquina de os titulares de direitos reservarem suas obras da mineração de textos e dados.

O robots.txt é um pedido, não uma tranca: crawlers educados obedecem, mas nada os obriga tecnicamente. Bloquear um crawler também só impede coletas futuras; não remove texto de modelos que já foram treinados.