Comment sont créés les LLM / Glossaire

Déduplication des données

La déduplication consiste à trouver et supprimer les copies répétées d'un même texte dans un jeu de données, pour qu'un modèle de langage ne voie pas le même passage encore et encore pendant l'entraînement.

Le web est plein de copies : le même article sur plusieurs sites, le même bandeau cookies sur des millions de pages, les mêmes conditions d'utilisation partout. Les outils de déduplication repèrent les copies exactes et les quasi-copies et n'en gardent qu'une.

Le texte répété gaspille du temps d'entraînement et pousse le modèle à mémoriser. Des chercheurs ont montré que dédoublonner les données d'entraînement faisait répéter beaucoup moins souvent du texte mémorisé aux modèles de langage et rendait leur entraînement plus efficace.

La déduplication n'est qu'une étape d'une longue chaîne de nettoyage qui retire aussi le superflu des pages, écarte le spam et le texte de mauvaise qualité, et supprime les données privées comme les adresses e-mail et les numéros de téléphone.