Tutti gli argomenti / Come nascono gli LLM
Come nasce un modello linguistico di grandi dimensioni, dal testo al chatbot
Segui un modello lungo tutta la fabbrica: raccogliere e pulire il testo, tagliarlo in token, mesi di allenamento sul token successivo su migliaia di chip, poi l’addestramento che trasforma un completamento automatico in un assistente utile. Ogni lezione è un disegno animato di 6 minuti con un gioco veloce. Niente matematica, niente codice.
- 24 lezioni
- 144 min
- Gratis
- Senza registrazione
Ciao, sono Tomás. A Vireo Labs aiuto ad addestrare modelli linguistici. Ti accompagno in ogni stazione della catena, da un mucchio disordinato di pagine web a un modello che risponde alle domande, e ti mostro dove si fanno le scelte difficili.
La materia prima
Da dove arriva il testo, come si pulisce e come diventa numeri
- 1
Cos’è un modello linguistico di grandi dimensioni?
Un enorme indovino della parola successiva, fatto di testo
- 2
Da dove arriva il testo di addestramento
Pagine web, libri, codice e conversazioni
- 3
Pulire i dati
Via duplicati, spam e dati personali
- 4
Token: come il testo diventa pezzi
Perché un modello legge «incredibile» in tre parti
- 5
Embedding: parole come punti nello spazio
Significati simili finiscono vicini
- 6
Di chi sono i dati?
Diritto d’autore, consenso e opt-out
Il pre-addestramento
Il transformer, l’attenzione e mesi a indovinare il token successivo
- 7
Il transformer
Il progetto a strati dietro ogni LLM moderno
- 8
L’attenzione
Come ogni parola guarda indietro alle parole che contano
- 9
Indovina il token successivo
L’unico gioco dell’addestramento, ripetuto migliaia di miliardi di volte
- 10
Imparare dagli errori
Loss, piccole spinte e miliardi di minuscole manopole
- 11
Crescere di scala
Più dati, più parametri, più chip
- 12
Il modello base
Un completamento automatico geniale, ma non ancora un assistente
Diventare un assistente
Istruzioni, feedback umano, ragionamento, sicurezza e strumenti
- 13
L’instruction tuning
Insegnare al modello a seguire le richieste
- 14
Imparare dal feedback umano
Le persone confrontano due risposte e scelgono la migliore
- 15
I modelli di ricompensa
Un secondo modello che dà un voto alle risposte
- 16
Imparare a ragionare
Pensare passo per passo su problemi con risposte verificabili
- 17
L’addestramento alla sicurezza
Rifiutare ciò che fa male, restare onesti, ammettere i dubbi
- 18
Strumenti e agenti
Ricerca, codice e azioni nel mondo
Test e rilascio
Benchmark, red team, modelli più piccoli e come nasce una risposta
- 19
Benchmark e valutazioni
Come un nuovo modello riceve la pagella
- 20
Il red teaming
Esperti provano a far cedere il modello prima del lancio
- 21
Rendere i modelli più piccoli
Distillazione e quantizzazione
- 22
Come nasce una risposta
Un token alla volta, con un pizzico di caso
- 23
Finestra di contesto e memoria
Cosa vede il modello tutto insieme, e cosa dimentica
- 24
Model card e rilascio
Cosa ti dice un lancio responsabile
Come funziona
- 01
Guarda
Un disegno animato ti mostra come funzionano davvero le cose.
- 02
Prova
Un breve gioco ti fa mettere in pratica: trova, ordina, attiva, decidi.
- 03
Ricorda
Tre punti chiave e un badge per la tua tavola.
Domande frequenti
Devo sapere matematica o programmazione?
No. Ogni passaggio è un disegno animato con esempi di tutti i giorni. Vedrai cos’è un token, un peso o un modello di ricompensa senza una sola formula.
Quanto tempo ci vuole per addestrare un LLM?
Il pre-addestramento di un modello di frontiera dura di solito da settimane a mesi su migliaia di chip specializzati, dopo una lunga fase di raccolta e pulizia dei dati. Il fine-tuning che lo trasforma in un assistente viene dopo.
Il corso è gratuito?
Sì. Tutte le lezioni sono gratuite, senza registrazione e senza abbonamento.
In cosa è diverso dal corso di alfabetizzazione all’IA?
Il corso sull’IA insegna a capirla e a usarla bene. Questo corso va dietro le quinte e segue un modello in ogni fase: come viene costruito, testato e rilasciato.