Vai al contenuto
IT

Lezione 2 di 6 · 6 min · +100 XP

Da dove vengono i dati di addestramento dei grandi modelli linguistici?

I grandi modelli linguistici imparano da un enorme mix di testi: pagine web pubbliche raccolte dai crawler, libri, articoli scientifici, codice open source, enciclopedie e forum, più dati su licenza o scritti apposta. Ogni fonte insegna qualcosa di diverso. I modelli moderni si addestrano su migliaia di miliardi di token, e il mix decide in cosa il modello è bravo.

▶ Prova tu

Perché è importante

Un modello può imparare solo ciò che c’è nei suoi dati. Il mix di fonti spiega in cosa è bravo, quali lingue gestisce bene e di chi ripete la voce.

In 6 minuti saprai

  • Se un modello è debole nella tua lingua o nel tuo settore, probabilmente ha visto pochi testi su quel tema durante l’addestramento.
  • Ricorda che il testo pubblico del web contiene opinioni ed errori, quindi un modello può ripetere entrambi.
  • Cerca la documentazione di un modello: chi lo crea in modo responsabile descrive le fonti dei dati.

Cosa eserciterai

  1. Da quale tubo arriva?

    Ogni frammento viene da una fonte. Mettilo nel tubo giusto.

    • Orari: lun–ven 9:00–17:00. Ci trovi accanto alla stazione. → Pagine web
    • Capitolo 3. Pioveva da tre giorni quando Chiara arrivò al faro. → Libri
    • def area(r): return 3.14159 * r * r → Codice
    • Re: errore disco pieno? A me ha risolto svuotare la cache, grazie a tutti! → Forum
    • «Non volevo andarmene», sussurrò, chiudendo il vecchio diario. → Libri
    • for (let i = 0; i < 10; i++) { total += i; } → Codice
    • D: Va bene annaffiare i cactus ogni settimana? R: D’inverno è troppo, prova una volta al mese. → Forum
    • 10 consigli facili per coltivare pomodori sul balcone → Pagine web

  2. Cosa ha insegnato ogni tubo?

    Ogni riga ha lo stile di una fonte. Scegli la parola successiva, poi guarda la previsione di Vireo. Le percentuali sono solo un esempio.

    1. Era una notte buia e ___

      • tempestosa: 90% (la più probabile)
      • fredda: 3%
      • silenziosa: 2%
      • spalmabile: 0%
      • altre parole: 5%
      Un incipit famoso, ripetuto in innumerevoli libri e articoli. I libri insegnano a raccontare storie e le frasi celebri.

    2. if user is None:
      return       ___

      • None: 55% (la più probabile)
      • False: 20%
      • user: 5%
      • ciao: 0,1%
      • altre parole: 20%
      Dopo aver letto milioni di righe di codice pubblico, Vireo sa cosa viene di solito dopo. Ecco da dove viene la sua abilità nel programmare.

    3. Qualcun altro ha avuto questo problema? EDIT: risolto, ___

      • grazie: 40% (la più probabile)
      • bastava: 20%
      • mai: 2%
      • altre parole: 38%
      Le discussioni nei forum insegnano il botta e risposta del chiedere aiuto e condividere soluzioni, utile per un assistente.

    4. Siamo aperti dal lunedì al ___

      • venerdì: 70% (la più probabile)
      • sabato: 15%
      • domenica: 5%
      • altre parole: 10%
      Le pagine web comuni insegnano come si descrive il mondo di tutti i giorni: orari, prezzi, indicazioni.

  3. Pianifica il mix di dati di Vireo

    Tomás ha preparato un piano per il prossimo addestramento. Imposta ogni riga sulla scelta che rende il modello migliore.

    • Aggiungere testi in molte lingue
    • Copiare 1.000 volte la pagina più popolare perché conti di più
    • Aggiungere codice pubblico da progetti open source
    • Aggiungere i messaggi privati delle persone
    • Aggiungere manuali e articoli scientifici che abbiamo il permesso di usare
    • Usare testi di un solo grande sito

Ricorda

Un modello sa solo ciò che ha letto. Il suo mix di pagine web, libri, codice e conversazioni dà forma a tutto ciò che fa.

Un modello prende forma dal suo mix di dati: pagine web, libri, codice e conversazioni insegnano ognuno qualcosa di diverso.

Dati chiave

  • Common Crawl, un’organizzazione non profit, archivia miliardi di pagine web dal 2008 e le mette a disposizione gratis; sue versioni filtrate alimentano molti modelli linguistici. · Fonte: Common Crawl Foundation
  • Nel mix di addestramento di GPT-3 circa il 60% del peso andava a testo del web filtrato, il 22% a pagine web selezionate, il 16% a due raccolte di libri e il 3% a Wikipedia. · Fonte: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
  • The Pile, un dataset aperto per addestrare modelli linguistici, univa 22 fonti diverse, dagli articoli scientifici al codice alle discussioni nei forum. · Fonte: Gao et al., EleutherAI, The Pile, 2020
  • Llama 3 è stato pre-addestrato su oltre 15.000 miliardi di token raccolti da fonti pubblicamente disponibili. · Fonte: Meta, Introducing Meta Llama 3, 2024

Aggiornato:

Domande frequenti

Su quali dati vengono addestrati gli LLM?

Soprattutto testo: pagine web pubbliche, libri, articoli scientifici, enciclopedie, codice open source e discussioni nei forum, spesso con dati su licenza ed esempi scritti da persone apposta per l’addestramento.

Quanti dati servono per addestrare un LLM?

I modelli moderni sono pre-addestrati su migliaia di miliardi di token, molto più testo di quanto una persona potrebbe leggere in molte vite. La quantità esatta dipende dal modello.

Gli LLM vengono addestrati sui libri?

Molti sì, perché i libri offrono testi lunghi e ben curati. Quali libri si possano usare, e a quali condizioni, è discusso ed è oggetto di cause in diversi Paesi.

Perché conta il mix di dati?

Un modello impara gli schemi di ciò che legge. Più codice lo rende più bravo a programmare, più lingue lo rendono più multilingue, e dati a senso unico lo rendono a senso unico.

Termini correlati