Cómo se crean los LLM / Glosario

Rastreador web (crawler)

Un rastreador web es un programa que visita páginas automáticamente, guarda su contenido y sigue sus enlaces para encontrar más. Los rastreadores reúnen buena parte del texto con el que se entrenan los modelos de lenguaje.

Un rastreador parte de una lista de direcciones, descarga cada página, extrae los enlaces y los añade a su lista de pendientes. Repetido millones de veces, así se recorre y copia una gran parte de la web pública. Los buscadores usan rastreadores desde los años noventa.

Para la IA, las páginas rastreadas son la mayor fuente de texto de entrenamiento. Common Crawl, una organización sin ánimo de lucro, archiva miles de millones de páginas web desde 2008 y las comparte gratis, y versiones filtradas de ese archivo alimentan muchos modelos de lenguaje.

Los rastreadores bien educados se identifican con su nombre y siguen las reglas que cada sitio pone en su archivo robots.txt. El texto rastreado en bruto está muy sucio, así que se limpia, se filtra y se deduplica antes de entrenar, y la mayor parte se descarta.