¿Cómo se limpian los datos de entrenamiento de un modelo de lenguaje?
El texto de la web llega muy sucio, así que pasa por una cadena de limpieza antes de entrenar. Los filtros quitan menús y avisos de cookies, descartan páginas rotas, spam y copias repetidas, se quedan con frases bien escritas y tapan datos privados como correos y teléfonos. Casi todo lo rastreado se tira: cuanto más limpios los datos, mejor el modelo.
▶ Pruébalo
Por qué importa
Un modelo aprende todo lo que lee, también spam, copias y números de teléfono. La limpieza decide cómo sonará el modelo y qué podría repetir.
En 6 minutos sabrás
- Todo lo que publicas en abierto puede acabar en un rastreo, así que no dejes teléfonos ni direcciones en páginas públicas.
- Si un modelo repite frases de spam o textos de plantilla raros, es una pista de lo que había en sus datos.
- Pregunta a los proveedores de IA cómo filtran los datos privados; los buenos lo explican en su documentación.
Lo que vas a practicar
Limpia la página
El rastreador guardó esta página de noticias. Toca cada parte que no sea el propio artículo.
Diario del Puerto
🍪 Usamos cookies. ¿Aceptar todas?
Inicio · Noticias · Deportes · Tiempo · Entrar
El pueblo abre una biblioteca de objetos
Desde el lunes, los vecinos pueden pedir prestados taladros, tiendas de campaña y máquinas de coser gratis. «La gente compraba herramientas que usaba una sola vez», explica la bibliotecaria Carmen Ruiz.
PATROCINADO: ¡¡¡Pierde 10 kg en 3 días!!! Haz clic aquí
© Diario del Puerto · Privacidad · Condiciones · Compartir en redesManeja la cadena de limpieza
Las páginas llegan una a una. Tapa los datos privados tocándolos y luego manda cada página a su cubo.
Cómo encuentran las abejas el camino a casa (notas-de-naturaleza.example/abejas) → ✅ Conservar
Las abejas usan el sol como brújula. Los días nublados leen patrones en la luz y recuerdan puntos de referencia por el camino, de árboles a vallas.
Un artículo claro y bien escrito. Es justo el tipo de texto del que Vireo debería aprender.
ZAPATILLAS BARATAS mejores zapatillas baratas COMPRA (zapatillas-baratas.example/baratas) → 🚫 Spam
zapatillas baratas mejores zapatillas baratas compra ya zapatillas baratas gratis zapatillas baratas mejor precio haz clic zapatillas baratas!!!
Palabras clave metidas a presión para los buscadores, no para las personas. Un modelo que lee esto aprende a balbucear.
Re: me chirría la cadena de la bici (foro-arreglalo.example/cadena-chirria) → ✅ Conservar
Limpia la cadena con un trapo, pon una gota de aceite en cada eslabón y gira los pedales. ¿Sigue chirriando? Escríbeme a
lucia.m@correo.example[EMAIL] o llama al600 12 34 56[TELÉFONO].Un consejo útil de una persona real. Consérvalo, pero solo después de tapar los datos de contacto.
- [EMAIL] lucia.m@correo.example: Un correo electrónico apunta a una persona real. Se tapa; el consejo útil se queda.
- [TELÉFONO] 600 12 34 56: Un número de teléfono es privado. Un modelo que lo memorice podría repetírselo a cualquiera.
Cómo encuentran las abejas el camino a casa (copia-noticias.example/abejas-casa) → 📑 Duplicado
Las abejas usan el sol como brújula. Los días nublados leen patrones en la luz y recuerdan puntos de referencia por el camino, de árboles a vallas.
La misma huella que el artículo de las abejas que ya viste. El texto repetido hace que un modelo memorice en vez de aprender.
Cargando… (tienda.example/cargando) → 🧩 Rota
¿Aceptar todas las cookies? Sí · No · Menú · Inicio · Entrar · Cesta (0) · © Todos los derechos reservados · Cargando… Cargando…
Solo botones y menús, ninguna frase de verdad. Las páginas rotas como esta se tiran.
Gazpacho en 10 minutos (cocina-casera.example/gazpacho) → ✅ Conservar
Tritura tomates maduros, medio pimiento, un pepino, un diente de ajo, aceite de oliva, vinagre y sal, y enfríalo una hora. Igual que lo hacen en Sevilla.
Una receta clara con frases de verdad. Al conjunto de entrenamiento.
- ✓ Sevilla: Una ciudad no es un dato privado, forma parte de la historia de la receta. Solo hay que quitar lo que apunta a una persona.
Top 10 mejores top 10 opiniones (top10-opiniones.example/top-10-mejores) → 🚫 Spam
Top 10 mejores productos. Mejores top productos opinión. Este producto es el mejor producto para mejores resultados. Compra mejor producto. Top mejores 10.
Relleno hecho por máquina que se repite y no dice nada. Los filtros de calidad lo descartan.
¿Para qué limpiar?
El mismo artículo aparece 500 veces en el rastreo. ¿Por qué conservar solo una copia?
- Las repeticiones empujan al modelo a memorizar ese texto palabra por palabra (Respuesta)
- Las copias no molestan, más datos siempre es mejor
¿Puede una cadena de limpieza pillar todos los datos privados?
- No, los filtros fallan y algunos datos se cuelan (Respuesta)
- Sí, los ordenadores encuentran todos los nombres y números
Recuerda
Un modelo es tan bueno como el texto del que aprende. La limpieza tira basura y copias y tapa los datos privados.
Casi todo el texto rastreado nunca llega al entrenamiento. Lo que queda se filtra, se deduplica y se limpia de datos privados.
Datos clave
- Eliminar el texto duplicado de los datos de entrenamiento hizo que los modelos de lenguaje repitieran texto memorizado mucho menos y se entrenaran de forma más eficiente. · Fuente: Lee et al., Deduplicating Training Data Makes Language Models Better, ACL 2022
- Unos investigadores demostraron que un modelo de lenguaje podía reproducir fragmentos de sus datos de entrenamiento palabra por palabra, incluidos nombres, teléfonos y correos electrónicos. · Fuente: Carlini et al., Extracting Training Data from Large Language Models, USENIX Security 2021
- El conjunto de datos C4 se creó limpiando Common Crawl con reglas sencillas: conservar las líneas que acaban en signo de puntuación, descartar páginas con texto de relleno o código y eliminar pasajes repetidos. · Fuente: Raffel et al., Google, Exploring the Limits of Transfer Learning (T5), 2020
- La limpieza de datos suele eliminar la mayor parte de lo que recoge un rastreador, y por eso los equipos parten de rastreos muy grandes.
Actualizado:
Preguntas frecuentes
¿Cómo limpian las empresas de IA los datos de entrenamiento?
Extraen el texto principal de cada página, filtran el spam y las páginas rotas o de baja calidad, eliminan duplicados y tapan datos personales como correos y teléfonos. Muchos equipos usan además modelos pequeños para puntuar la calidad del texto.
¿Por qué se eliminan los duplicados de los datos de entrenamiento?
El texto que un modelo ve muchas veces tiene más probabilidades de memorizarse y repetirse palabra por palabra. Con una copia basta para aprender, y quitar el resto ahorra tiempo de cálculo.
¿Se eliminan los datos personales de los datos de entrenamiento de la IA?
Normalmente una parte sí: los filtros detectan patrones como correos y números de teléfono. Pero los filtros pueden fallar, así que algunos datos personales aún pueden colarse.
Términos relacionados