Vai al contenuto
IT

Lezione 3 di 6 · 6 min · +100 XP

Come si puliscono i dati di addestramento di un modello linguistico?

Il testo grezzo del web è disordinato, quindi prima dell’addestramento passa per una catena di pulizia. I filtri tolgono menu e banner dei cookie, scartano pagine rotte, spam e copie, tengono soprattutto frasi ben scritte e oscurano dati privati come email e numeri di telefono. Gran parte del testo raccolto viene buttata: dati più puliti, modello migliore.

▶ Prova tu

Perché è importante

Un modello impara tutto ciò che legge, anche spam, copie e numeri di telefono. La pulizia decide come suonerà il modello e cosa potrebbe ripetere.

In 6 minuti saprai

  • Tutto ciò che pubblichi può finire in una raccolta del web, quindi tieni numeri di telefono e indirizzi lontani dalle pagine pubbliche.
  • Quando un modello ripete frasi da spam o strani testi standard, è un indizio di cosa c’era nei suoi dati.
  • Chiedi ai fornitori di IA come filtrano i dati privati; quelli seri lo descrivono nella loro documentazione.

Cosa eserciterai

  1. Spoglia la pagina

    Il crawler ha salvato questa pagina di notizie. Tocca ogni parte che non è l’articolo vero e proprio.

    Gazzetta del Porto
    🍪 Usiamo i cookie. Accetti tutto?
    Home · Notizie · Sport · Meteo · Accedi

    In città apre una biblioteca degli oggetti
    Da lunedì i residenti possono prendere in prestito gratis trapani, tende e macchine da cucire. «Le persone compravano attrezzi che usavano una volta sola», dice la bibliotecaria Francesca Rinaldi.
    SPONSORIZZATO: Perdi 10 kg in 3 giorni!!! Clicca qui
    © Gazzetta del Porto · Privacy · Termini · Condividi sui social

  2. Gestisci la catena di pulizia

    Le pagine arrivano una alla volta. Oscura i dati privati toccandoli, poi manda ogni pagina nel contenitore giusto.

    1. Come le api ritrovano la strada di casa (appunti-di-natura.example/api) → ✅ Tieni

      Le api usano il sole come bussola. Nei giorni nuvolosi leggono gli schemi della luce e ricordano i punti di riferimento lungo la strada, dagli alberi agli steccati.

      Un articolo chiaro e ben scritto. È proprio il tipo di testo da cui Vireo dovrebbe imparare.

    2. SCARPE ECONOMICHE migliori scarpe economiche COMPRA (scarpe-economiche.example/scarpe) → 🚫 Spam

      scarpe economiche migliori scarpe economiche compra ora scarpe economiche gratis scarpe economiche miglior prezzo clicca qui scarpe economiche!!!

      Parole chiave infilate per i motori di ricerca, non per le persone. Un modello che legge questo impara a blaterare.

    3. Re: la catena della bici cigola (forum-fai-da-te.example/catena-cigola) → ✅ Tieni

      Pulisci la catena con uno straccio, metti una goccia d’olio su ogni maglia e fai girare i pedali. Cigola ancora? Scrivimi a giulia.r@posta.example [EMAIL] o chiama il 333 000 0142 [TELEFONO].

      Un consiglio utile di una persona reale. Tieni il consiglio, ma solo dopo aver oscurato i contatti.

      • [EMAIL] giulia.r@posta.example: Un indirizzo email porta a una persona reale. L’indirizzo va tolto, il consiglio utile resta.
      • [TELEFONO] 333 000 0142: Un numero di telefono è privato. Un modello che lo memorizza potrebbe ripeterlo a chiunque.

    4. Come le api ritrovano la strada di casa (copia-notizie.example/api-casa) → 📑 Duplicato

      Le api usano il sole come bussola. Nei giorni nuvolosi leggono gli schemi della luce e ricordano i punti di riferimento lungo la strada, dagli alberi agli steccati.

      Stessa impronta dell’articolo sulle api che hai già visto. Il testo ripetuto fa memorizzare il modello invece di farlo imparare.

    5. Caricamento… (negozio.example/caricamento) → 🧩 Rotta

      Accetti tutti i cookie? Sì · No · Menu · Home · Accedi · Carrello (0) · © Tutti i diritti riservati · Caricamento… Caricamento…

      Solo pulsanti e menu, nessuna frase vera. Le pagine rotte come questa vengono buttate.

    6. Pasta al pomodoro in 20 minuti (cucina-di-casa.example/pasta-al-pomodoro) → ✅ Tieni

      Fai appassire una cipolla nell’olio d’oliva, aggiungi due barattoli di pelati e un pizzico di zucchero, cuoci per 15 minuti e condisci la pasta. Proprio come la fanno a Napoli.

      Una ricetta chiara, con frasi vere. Va nel set di addestramento.

      • ✓ Napoli: Una città non è un dato privato, fa parte della storia della ricetta. Vanno tolti solo i dati che portano a una persona.

    7. I 10 migliori top 10 recensioni (top10-recensioni.example/i-10-migliori) → 🚫 Spam

      I 10 migliori prodotti. Recensione dei migliori prodotti top. Questo prodotto è il miglior prodotto per i migliori risultati. Compra il miglior prodotto. Top 10 migliori.

      Riempitivo fatto a macchina che si ripete e non dice niente. I filtri di qualità lo scartano.

  3. Perché pulire?

    1. Lo stesso articolo compare 500 volte nella raccolta. Perché tenerne una sola copia?

      • Le ripetizioni spingono il modello a memorizzare quel testo parola per parola (Risposta)
      • Le copie vanno bene, più dati è sempre meglio

    2. Una catena di pulizia può trovare tutti i dati privati?

      • No, i filtri perdono qualcosa, quindi alcuni dati possono passare (Risposta)
      • Sì, i computer trovano ogni nome e ogni numero

Ricorda

Un modello vale quanto il testo da cui impara. La pulizia scarta spazzatura e copie e oscura i dati privati.

Gran parte del testo raccolto non arriva mai all’addestramento. Ciò che resta viene filtrato, deduplicato e ripulito dai dati privati.

Dati chiave

  • Togliere il testo duplicato dai dati di addestramento ha fatto ripetere ai modelli linguistici molto meno testo memorizzato e ha reso l’addestramento più efficiente. · Fonte: Lee et al., Deduplicating Training Data Makes Language Models Better, ACL 2022
  • I ricercatori hanno mostrato che un modello linguistico poteva riprodurre parola per parola pezzi dei suoi dati di addestramento, compresi nomi, numeri di telefono e indirizzi email. · Fonte: Carlini et al., Extracting Training Data from Large Language Models, USENIX Security 2021
  • Il dataset C4 è nato pulendo Common Crawl con regole semplici: tenere le righe che finiscono con la punteggiatura, scartare le pagine con testo segnaposto o codice e togliere i passaggi ripetuti. · Fonte: Raffel et al., Google, Exploring the Limits of Transfer Learning (T5), 2020
  • La pulizia dei dati di solito elimina la maggior parte di ciò che un crawler raccoglie, ed è per questo che i team partono da raccolte enormi.

Aggiornato:

Domande frequenti

Come puliscono i dati di addestramento le aziende di IA?

Estraggono il testo principale da ogni pagina, filtrano spam, pagine rotte e di bassa qualità, tolgono i duplicati e oscurano i dati personali come email e numeri di telefono. Molti team usano anche piccoli modelli per dare un voto alla qualità del testo.

Perché si tolgono i duplicati dai dati di addestramento?

Un testo che il modello vede molte volte ha più probabilità di essere memorizzato e ripetuto parola per parola. Una copia basta per imparare, e togliere le altre fa risparmiare tempo di calcolo.

I dati personali vengono tolti dai dati di addestramento dell’IA?

Di solito una parte sì: i filtri trovano schemi come indirizzi email e numeri di telefono. Ma i filtri possono perdere qualcosa, quindi alcuni dati personali possono comunque passare.

Termini correlati