Vai al contenuto
IT

Lezione 1 di 6 · 6 min · +100 XP

Cos’è un modello linguistico di grandi dimensioni (LLM)?

Un modello linguistico di grandi dimensioni (LLM) è un sistema di IA addestrato su enormi quantità di testo per fare una cosa sola: prevedere il pezzo di testo successivo. Date alcune parole, dà un punteggio a ogni token possibile, ne sceglie uno probabile e ripete. Miliardi di numeri regolati durante l’addestramento custodiscono gli schemi imparati: così può rispondere, tradurre, riassumere e scrivere codice.

▶ Prova tu

Perché è importante

Ogni chatbot funziona con un LLM. Quando vedi che è un indovino della parola successiva, capisci perché suona così fluido, perché sa così tante cose e perché può sbagliare con tanta sicurezza.

In 6 minuti saprai

  • Quando un chatbot risponde, immaginalo mentre mette in classifica le parole successive: spiega sia la sua fluidità sia i suoi scivoloni.
  • Controlla nomi, date e numeri che ti dà, perché una risposta che suona probabile può essere inventata.
  • Usalo per bozze, spiegazioni e riformulazioni, dove una formulazione probabile è proprio ciò che ti serve.

Cosa eserciterai

  1. Grande. Linguistico. Modello.

    Tocca ogni carta per scomporre il nome.

    📏 Grande
    Miliardi di numeri regolabili, chiamati parametri, addestrati su migliaia di miliardi di parole. La dimensione è una parte importante del perché funziona così bene.
    💬 Linguistico
    Lavora con il testo: lo legge e lo scrive, in molte lingue umane e nei linguaggi di programmazione.
    🧮 Modello
    Una gigantesca funzione matematica. Entra del testo ed esce un punteggio per ogni possibile token successivo.
    🎯 Quindi cosa fa davvero?
    Una cosa sola, più e più volte: prevedere il pezzo di testo successivo. Rispondere, riassumere e tradurre si basano tutti su questo.

  2. Al posto di Vireo

    Scegli la parola che secondo te viene dopo. Poi guarda quanto era probabile ogni opzione. Le percentuali sono solo un esempio.

    1. Il gatto dorme sul ___

      • letto: 62% (la più probabile)
      • divano: 21%
      • tappeto: 9%
      • vulcano: 0,1%
      • altre parole: 8%
      Vireo ha visto questa frase così spesso che «letto» svetta sulle altre. Una classifica come questa è tutto ciò che il modello produce.

    2. L’acqua gela a zero gradi ___

      • Celsius: 80% (la più probabile)
      • Fahrenheit: 5%
      • oggi: 2%
      • altre parole: 13%
      Un fatto ripetuto in innumerevoli testi diventa una previsione forte. Ecco come un modello «sa» le cose: come schemi, non come un elenco di fatti.

    3. Traduci in francese: buongiorno → ___

      • bonjour: 88% (la più probabile)
      • bonsoir: 4%
      • hello: 2%
      • altre parole: 6%
      Nessuno ha programmato un traduttore. Prevedere testi in molte lingue ha insegnato a Vireo quali parole vanno insieme.

    4. Tomás, ingegnere di addestramento a Vireo Labs, è nato a ___

      • Madrid: 20% (la più probabile)
      • Siviglia: 14%
      • Lisbona: 10%
      • Città del Messico: 9%
      • altre parole: 47%
      Vireo non ha mai letto niente su Tomás, eppure mette comunque in fila le opzioni e ne sceglierà una. Ecco come una risposta fluida può essere semplicemente inventata.

  3. Vero o falso mito?

    Smista ogni affermazione sui modelli linguistici di grandi dimensioni.

    • Ha imparato da enormi quantità di testo → Vero
    • Cerca le risposte in un database → Mito
    • Scrive un token alla volta → Vero
    • Qualcuno ha scritto una regola per ogni risposta → Mito
    • Può sembrare sicuro e sbagliare lo stesso → Vero
    • Dà sempre la stessa risposta → Mito

  4. La catena di montaggio

    Questo corso segue Vireo dal testo grezzo all’assistente. Metti le stazioni in ordine.

    1. Raccogliere enormi quantità di testo
    2. Pulirlo e tagliarlo in token
    3. Pre-addestramento: indovinare il token successivo, migliaia di miliardi di volte
    4. Fine-tuning per seguire istruzioni e feedback
    5. Testarlo a fondo, poi rilasciarlo

Ricorda

Un LLM è un indovino del token successivo addestrato su enormi quantità di testo. Fluido vuol dire probabile, non per forza vero.

Un LLM prevede il token successivo, ancora e ancora. Le sue conoscenze sono schemi custoditi in miliardi di numeri.

Dati chiave

  • Quasi tutti i grandi modelli linguistici di oggi si basano sul transformer, un’architettura presentata in un articolo di ricerca del 2017. · Fonte: Vaswani et al., Google, Attention Is All You Need, NeurIPS 2017
  • GPT-3 aveva 175 miliardi di parametri, i numeri regolabili che custodiscono ciò che un modello impara. · Fonte: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
  • Llama 3 è stato pre-addestrato su oltre 15.000 miliardi di token di testo. · Fonte: Meta, Introducing Meta Llama 3, 2024
  • Le persone preferivano le risposte di un modello da 1,3 miliardi di parametri addestrato a seguire istruzioni a quelle di GPT-3 da 175 miliardi: l’addestramento dopo il pre-addestramento conta. · Fonte: Ouyang et al., OpenAI, Training language models to follow instructions with human feedback, 2022

Aggiornato:

Domande frequenti

Cosa vuol dire LLM?

LLM sta per «large language model», cioè modello linguistico di grandi dimensioni: un modello di IA con miliardi di parametri, addestrato su enormi quantità di testo per prevedere il token successivo.

Un chatbot e un LLM sono la stessa cosa?

Un chatbot è un’app costruita intorno a un LLM. Il modello prevede il testo; l’app aggiunge la finestra della chat, un addestramento in più per seguire le istruzioni, regole di sicurezza e a volte strumenti come la ricerca sul web.

Un LLM capisce quello che dice?

Non come le persone. Ha imparato schemi molto dettagliati della lingua, e questo lo rende utile, ma non ha un modo interno per verificare se una frase è vera.

Perché si chiamano «di grandi dimensioni»?

Per la loro taglia: miliardi di parametri, addestrati su migliaia di miliardi di parole con un’enorme potenza di calcolo. In generale, modelli più grandi addestrati su più dati sono diventati più capaci.

Termini correlati