Cómo se crean los LLM / Glosario

robots.txt

robots.txt es un pequeño archivo de texto de un sitio web que indica a los rastreadores qué páginas pueden visitar y cuáles no. Los propietarios pueden usarlo para pedir a los rastreadores de IA que no recojan su contenido.

El archivo está en la raíz del sitio, por ejemplo ejemplo.com/robots.txt. Enumera rastreadores por su nombre y las partes del sitio de las que cada uno debe mantenerse fuera. La idea nació en 1994 y se convirtió en estándar de internet en 2022.

Muchas empresas de IA publican el nombre de sus rastreadores para que los sitios puedan bloquearlos uno a uno, y los investigadores vieron que en 2023 y 2024 los sitios restringían a los rastreadores de IA mucho más que antes. En la UE, robots.txt es una forma legible por máquinas de que los titulares de derechos reserven sus obras frente a la minería de textos y datos.

robots.txt es una petición, no un candado: los rastreadores educados la respetan, pero nada les obliga técnicamente. Además, bloquear un rastreador solo frena la recogida futura; no borra el texto de los modelos que ya se entrenaron.