Comment nettoie-t-on les données d'entraînement d'un modèle de langage ?
Le texte brut du web est désordonné, alors il passe par une chaîne de nettoyage. Des filtres retirent menus et bandeaux cookies, écartent les pages cassées, le spam et les copies, gardent surtout des phrases bien écrites et masquent les données privées comme les e-mails et numéros de téléphone. La plupart du texte collecté est jeté ; plus les données sont propres, meilleur est le modèle.
▶ À toi de jouer
Pourquoi c'est important
Un modèle apprend tout ce qu'il lit, y compris le spam, les copies et les numéros de téléphone. Le nettoyage décide de la façon dont le modèle parlera et de ce qu'il pourrait répéter.
En 6 minutes, tu sauras
- Tout ce que tu publies en public peut finir dans une collecte : évite d'afficher ton numéro ou ton adresse sur des pages ouvertes.
- Quand un modèle répète des formules de spam ou du texte passe-partout bizarre, c'est un indice sur ce que contenaient ses données.
- Demande aux fournisseurs d'IA comment ils filtrent les données privées ; les bons le décrivent dans leur documentation.
Ce que tu vas pratiquer
Dépouille la page
Le crawler a enregistré cette page d'actualité. Touche tout ce qui n'est pas l'article lui-même.
Le Courrier du Port
🍪 Nous utilisons des cookies. Tout accepter ?
Accueil · Actu · Sport · Météo · Connexion
La ville ouvre une bibliothèque d'objets
Dès lundi, les habitants peuvent emprunter gratuitement perceuses, tentes et machines à coudre. « Les gens achetaient des outils qu'ils n'utilisaient qu'une fois », explique la bibliothécaire Isabelle Moreau.
SPONSORISÉ : Perdez 10 kg en 3 jours !!! Cliquez ici
© Le Courrier du Port · Confidentialité · CGU · PartagerFais tourner la chaîne de nettoyage
Les pages arrivent une à une. Masque les données privées en les touchant, puis envoie chaque page dans le bon bac.
Comment les abeilles retrouvent leur ruche (notes-nature.example/abeilles) → ✅ Garder
Les abeilles se servent du soleil comme d'une boussole. Par temps couvert, elles lisent des motifs dans la lumière, et elles retiennent des repères en chemin, des arbres aux clôtures.
Un article clair et bien écrit. C'est exactement le genre de texte dont Vireo doit apprendre.
CHAUSSURES PAS CHÈRES meilleures chaussures ACHETER (chaussures-pas-cheres.example/promo) → 🚫 Spam
chaussures pas chères meilleures chaussures pas chères acheter maintenant chaussures pas chères gratuites meilleur prix cliquez ici chaussures !!!
Des mots-clés entassés pour les moteurs de recherche, pas pour les gens. Un modèle qui lit ça apprend à radoter.
Re : ma chaîne de vélo grince (forum-bricole.example/chaine-qui-grince) → ✅ Garder
Essuie la chaîne avec un chiffon, mets une goutte d'huile sur chaque maillon et fais tourner les pédales. Ça grince encore ? Écris-moi à
marie.k@boite.example[E-MAIL] ou appelle le01 99 00 01 42[TÉL].Un conseil utile d'une vraie personne. Garde le conseil, mais seulement une fois les coordonnées masquées.
- [E-MAIL] marie.k@boite.example: Une adresse e-mail désigne une vraie personne. Elle part, le conseil utile reste.
- [TÉL] 01 99 00 01 42: Un numéro de téléphone est privé. Un modèle qui le mémorise pourrait le répéter à n'importe qui.
Comment les abeilles retrouvent leur ruche (copie-actu.example/abeilles-ruche) → 📑 Doublon
Les abeilles se servent du soleil comme d'une boussole. Par temps couvert, elles lisent des motifs dans la lumière, et elles retiennent des repères en chemin, des arbres aux clôtures.
Même empreinte que l'article sur les abeilles déjà vu. Le texte répété pousse un modèle à mémoriser au lieu d'apprendre.
Chargement… (boutique.example/chargement) → 🧩 Cassée
Accepter tous les cookies ? Oui · Non · Menu · Accueil · Connexion · Panier (0) · © Tous droits réservés · Chargement… Chargement…
Rien que des boutons et des menus, aucune vraie phrase. Les pages cassées comme celle-ci sont jetées.
Soupe de tomates en 20 minutes (cuisine-maison.example/soupe-tomate) → ✅ Garder
Fais revenir un oignon dans l'huile d'olive, ajoute deux boîtes de tomates et une pincée de sucre, laisse mijoter 15 minutes, puis mixe. Comme on la fait à Marseille.
Une recette claire, en vraies phrases. Direction les données d'entraînement.
- ✓ Marseille: Une ville n'est pas une donnée privée, elle fait partie de l'histoire de la recette. Seuls les détails qui désignent une personne doivent partir.
Top 10 meilleurs top 10 avis (top10-avis.example/top-10-meilleurs) → 🚫 Spam
Top 10 meilleurs produits. Meilleur avis top produits. Ce produit est le meilleur produit pour les meilleurs résultats. Achetez le meilleur produit. Top meilleurs 10.
Du remplissage fabriqué par une machine, qui se répète et ne dit rien. Les filtres de qualité l'écartent.
Pourquoi se donner du mal ?
Le même article apparaît 500 fois dans la collecte. Pourquoi n'en garder qu'une copie ?
- Les répétitions poussent le modèle à apprendre ce texte par cœur (Réponse)
- Les copies, ça va, plus de données c'est toujours mieux
Une chaîne de nettoyage peut-elle attraper toutes les données privées ?
- Non, les filtres en ratent, donc certaines passent (Réponse)
- Oui, un ordinateur trouve chaque nom et chaque numéro
Retiens bien
Un modèle ne vaut que le texte dont il apprend. Le nettoyage écarte déchets et copies et masque les données privées.
La plupart du texte collecté n'arrive jamais à l'entraînement. Le reste est filtré, dédoublonné et débarrassé des données privées.
Les chiffres clés
- Supprimer le texte en double des données d'entraînement a fait répéter beaucoup moins souvent du texte mémorisé aux modèles de langage et a rendu leur entraînement plus efficace. · Source: Lee et al., Deduplicating Training Data Makes Language Models Better, ACL 2022
- Des chercheurs ont montré qu'un modèle de langage pouvait reproduire mot pour mot des morceaux de ses données d'entraînement, y compris des noms, des numéros de téléphone et des adresses e-mail. · Source: Carlini et al., Extracting Training Data from Large Language Models, USENIX Security 2021
- Le jeu de données C4 a été construit en nettoyant Common Crawl avec des règles simples : garder les lignes qui finissent par une ponctuation, écarter les pages avec du texte de remplissage ou du code, et retirer les passages répétés. · Source: Raffel et al., Google, Exploring the Limits of Transfer Learning (T5), 2020
- Le nettoyage retire en général la plus grande partie de ce qu'un crawler collecte, c'est pourquoi les équipes partent de collectes très volumineuses.
Mis à jour:
Les questions qu'on se pose
Comment les entreprises d'IA nettoient-elles les données d'entraînement ?
Elles extraient le texte principal de chaque page, filtrent le spam, les pages cassées et de mauvaise qualité, suppriment les doublons et masquent les données personnelles comme les e-mails et numéros de téléphone. Beaucoup d'équipes utilisent aussi de petits modèles pour noter la qualité du texte.
Pourquoi supprime-t-on les doublons des données d'entraînement ?
Un texte vu de nombreuses fois a plus de chances d'être mémorisé et répété mot pour mot. Une copie suffit pour apprendre, et retirer les autres économise du temps de calcul.
Les données personnelles sont-elles retirées des données d'entraînement de l'IA ?
En général, une partie l'est : les filtres repèrent des motifs comme les adresses e-mail et les numéros de téléphone. Mais ils peuvent rater des détails, donc des données personnelles peuvent encore passer.
Termes associés