Vai al contenuto
IT

Lezione 3 di 6 · 6 min · +100 XP

Come si addestra un LLM prevedendo il token successivo?

Un modello linguistico di grandi dimensioni viene pre-addestrato giocando sempre allo stesso gioco: legge testo vero, nasconde il token successivo, scommette su cosa viene dopo, poi controlla la risposta vera e corregge i suoi pesi. Ripetuto migliaia di miliardi di volte, questo gioco semplice lo costringe a imparare grammatica, fatti, schemi di ragionamento e perfino codice.

▶ Prova tu

Perché è importante

Nel pre-addestramento non c’è un insegnante che scrive le risposte. Il testo stesso è la chiave delle soluzioni: per questo un modello può imparare da tutto il web, e per questo impara molto più della grammatica.

In 6 minuti saprai

  • Un LLM impara indovinando il token successivo in testi veri e correggendosi dopo ogni tentativo.
  • Il testo è la sua stessa chiave delle soluzioni, quindi nessuna persona deve etichettare niente.
  • Indovinare bene premia grammatica, fatti, ragionamento e codice, ed è per questo che i modelli imparano tutto questo.

Cosa eserciterai

  1. Al posto di Vireo

    Ogni riga viene dal testo di addestramento. Scommetti sul token successivo, poi guarda come distribuisce le scommesse un modello addestrato. Le percentuali sono solo un esempio.

    1. Ha aperto la porta ed è ___

      • entrata: 38% (la più probabile)
      • uscita: 20%
      • andata: 12%
      • rimasta: 6%
      • porta: 0,1%
      • altre parole: 24%
      Per indovinare bene qui, il modello deve imparare la grammatica: dopo «è» arriva un participio o un aggettivo, quasi mai un altro nome.

    2. L’acqua gela a 0 gradi ___

      • Celsius: 72% (la più probabile)
      • .: 10%
      • e: 5%
      • Fahrenheit: 3%
      • altre parole: 10%
      Indovinare qui vuol dire assorbire un fatto. Nessuno ha insegnato la fisica a Vireo: il fatto compare semplicemente nel testo, più e più volte.

    3. Sara ha 3 mele e ne compra altre 4. Ora ne ha ___

      • 7: 64% (la più probabile)
      • sette: 12%
      • 4: 3%
      • tante: 1%
      • altre parole: 20%
      Qui vince una semplice addizione. Prevedere bene il testo premia in silenzio tutto ciò che aiuta, compreso il ragionamento passo per passo.

    4. for i in range( ___

      • 10: 30% (la più probabile)
      • len: 26%
      • n: 20%
      • mele: 0,1%
      • altre parole: 24%
      Anche il codice è testo. Allenarsi su milioni di programmi insegna strada facendo gli schemi dei linguaggi di programmazione.

    5. Italiano: grazie. Francese: ___

      • merci: 82% (la più probabile)
      • grazie: 3%
      • bonjour: 2%
      • altre parole: 13%
      Coppie come questa compaiono ovunque sul web, quindi il modello impara a tradurre come effetto collaterale dell’indovinare il token successivo.

    6. Il gatto della mia vicina si chiama ___

      • Luna: 5% (la più probabile)
      • Micio: 5% (la più probabile)
      • Romeo: 4%
      • Tigre: 2%
      • altre parole: 84%
      Nessun testo può dirtelo. Il modello impara a distribuire le scommesse in modo sottile, eppure sceglierà comunque un nome: è una delle radici delle risposte inventate dette con sicurezza.

  2. Un passo di pre-addestramento

    Metti in ordine un turno del gioco di addestramento.

    1. Prendi un pezzo di testo vero dai dati di addestramento
    2. Nascondi il token che viene dopo
    3. Vireo scommette su ogni possibile token successivo
    4. Mostra il token vero e misura quanto Vireo è sorpreso
    5. Sposta un po’ i pesi perché il token vero abbia più probabilità
    6. Avanza di un token e gioca di nuovo

  3. Cosa insegna questo round?

    Ogni spazio vuoto premia un’abilità diversa. Smistali.

    • I gatti ___ addormentati. (sono) → Grammatica
    • Il pianeta più grande è ___ (Giove) → Fatti
    • 12 + 30 = ___ (42) → Ragionamento
    • Ieri ___ a scuola. (sono andato) → Grammatica
    • L’acqua bolle a ___ °C al livello del mare. (100) → Fatti
    • Lorenzo è più alto di Tommaso, Tommaso è più alto di Leo, quindi Leo è il più ___ (basso) → Ragionamento

Ricorda

Il pre-addestramento è un solo gioco: indovina il token successivo, controlla, correggi. Giocato migliaia di miliardi di volte, insegna molto più delle parole.

Un solo gioco, indovinare il token successivo, insegna grammatica, fatti, matematica e codice tutti insieme.

Dati chiave

  • Nel 1951 Claude Shannon misurò quanto è prevedibile l’inglese chiedendo alle persone di indovinare la lettera successiva di un testo. · Fonte: C. E. Shannon, Prediction and Entropy of Printed English, Bell System Technical Journal, 1951
  • Llama 3 è stato pre-addestrato su oltre 15.000 miliardi di token di testo. · Fonte: Meta, The Llama 3 Herd of Models, 2024
  • Gran parte del testo di addestramento di GPT-3 veniva da una versione filtrata di Common Crawl, un archivio aperto del web. · Fonte: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
  • Un modello addestrato solo a prevedere la parola successiva sapeva già provare compiti come tradurre e riassumere senza essere stato addestrato apposta. · Fonte: Radford et al., Language Models are Unsupervised Multitask Learners, OpenAI, 2019

Aggiornato:

Domande frequenti

Cos’è la previsione del token successivo?

È il compito di addestramento alla base dei grandi modelli linguistici: dato un testo, prevedere il token che viene dopo. Il modello dà un punteggio a ogni token possibile e impara da quanto ha sbagliato.

Cos’è l’apprendimento auto-supervisionato?

Un apprendimento in cui sono i dati stessi a fornire le risposte. Un modello linguistico nasconde il token successivo di un testo vero e prova a indovinarlo, quindi nessuno deve etichettare esempi a mano.

Come fa la previsione delle parole a insegnare dei fatti a un modello?

Molti token successivi si indovinano solo sapendo qualcosa del mondo. Per sbagliare meno su quelli, il modello deve conservare nei suoi pesi degli schemi che funzionano come fatti.

Su quanti token si addestrano gli LLM?

I grandi modelli linguistici moderni sono pre-addestrati su migliaia di miliardi di token. Per Llama 3, per esempio, Meta ha dichiarato oltre 15.000 miliardi di token.

Termini correlati