Cómo se crean los LLM / Glosario
Deduplicación de datos
La deduplicación de datos consiste en encontrar y eliminar las copias repetidas de un mismo texto en un conjunto de datos, para que un modelo de lenguaje no vea el mismo pasaje una y otra vez al entrenarse.
La web está llena de copias: el mismo artículo en muchos sitios, el mismo aviso de cookies en millones de páginas, las mismas condiciones de uso por todas partes. Las herramientas de deduplicación detectan copias exactas y casi exactas y se quedan solo con una.
El texto repetido malgasta tiempo de entrenamiento y enseña al modelo a memorizar. Varios investigadores comprobaron que deduplicar los datos de entrenamiento hacía que los modelos repitieran texto memorizado mucho menos y se entrenaran de forma más eficiente.
La deduplicación es un paso de una cadena de limpieza más larga, que también quita el relleno de las páginas, descarta el spam y el texto de baja calidad y elimina datos privados como correos electrónicos y números de teléfono.
Apréndelo en una lección de 6 minutosLimpiar los datosFuera duplicados, spam y datos privados