Come imparano i modelli di ragionamento dell’IA a pensare passo dopo passo?
I modelli di ragionamento si addestrano con l’apprendimento per rinforzo su problemi con risposte verificabili, come matematica e codice. Il modello scrive molti tentativi, ognuno una catena di passaggi di ragionamento, e un verificatore automatico premia solo quelli che arrivano alla risposta giusta. Col tempo si rafforzano abitudini attente, come procedere per passi e ricontrollare il proprio lavoro.
▶ Prova tu
Perché è importante
Alcune risposte si possono controllare in automatico, senza bisogno di persone. Così un modello può esercitarsi su milioni di problemi e imparare quali modi di ragionare arrivano davvero alla risposta giusta.
In 6 minuti saprai
- Le risposte di matematica e codice si controllano in automatico, così un modello può esercitarsi su milioni di problemi.
- L’apprendimento per rinforzo premia le catene di ragionamento che arrivano alla risposta giusta.
- Abitudini come scomporre i problemi e ricontrollare crescono perché ripagano. Verifica comunque le risposte importanti.
Cosa eserciterai
Controlla le catene
Per ogni tentativo, tocca il primo passaggio sbagliato oppure «Nessun errore». Poi avvia il verificatore e guarda le barre.
Problema: 17 × 24 = ? → 408
- Spara una risposta: Sembra circa 400 → [✗ Quindi: 398] → 398 ✗
- Passaggi, niente verifica: 17 × 20 = 340 → [✗ 17 × 4 = 58] → 340 + 58 = 398 → 398 ✗
- Passaggi, poi verifica: 17 × 20 = 340 → 17 × 4 = 68 → 340 + 68 = 408 → Verifica: 17 × 25 − 17 = 408 ✓ → 408 ✓
Problema: Una maglietta da 40 € è scontata del 25%. Quanto paghi? → 30 €
- Passaggi, niente verifica: 25% di 40 = 10 → 40 − 10 = 30 → 30 € ✓
- Spara una risposta: [✗ Sconto del 25%, quindi 25 €] → 25 € ✗
- Passaggi, poi verifica: 25% = un quarto → 40 ÷ 4 = 10 → 40 − 10 = 30 → Verifica: 30 è il 75% di 40 ✓ → 30 € ✓
Problema: Mia ha 3 anni più di Leo. Insieme hanno 21 anni. Quanti anni ha Mia? → 12
- Passaggi, poi verifica: Leo = x, Mia = x + 3 → 2x + 3 = 21 → x = 9, quindi Mia = 12 → Verifica: 12 + 9 = 21 ✓ → 12 ✓
- Passaggi, niente verifica: Leo = x, Mia = x + 3 → 2x + 3 = 21 → x = 9 → [✗ Quindi Mia ha 9 anni] → 9 ✗
- Spara una risposta: Circa metà di 21 → [✗ Quindi Mia ha 10 anni] → 10 ✗
Problema: Un treno parte alle 9:47 e il viaggio dura 2 h 38 min. A che ora arriva?
9:47 + 2 h = 11:47 → 11:47 + 38 min = 11:85 → Un attimo: 11:85 non è un orario. 85 min = 1 h 25 min → 11:00 + 1 h 25 min = 12:25 → Verifica: da 9:47 a 12:25 sono 2 h 38 min ✓ → 12:25 ✓Un verificatore può dare il voto?
Questo addestramento richiede risposte che un programma può controllare. Quali compiti vanno bene?
- Risolvi per x: 3x + 5 = 20 → Un verificatore può valutarlo
- Scrivi un biglietto gentile per un nuovo vicino di casa → Serve un giudizio umano
- Correggi questo codice in modo che passi tutti i test → Un verificatore può valutarlo
- Questa spiegazione è chiara per un dodicenne? → Serve un giudizio umano
- Quanti giorni ci sono dal 3 marzo al 1° aprile? → Un verificatore può valutarlo
- Quale di due poesie è più commovente? → Serve un giudizio umano
Quali abitudini sono state premiate?
Nessuno ha programmato lo stile di ragionamento di Vireo. Quali abitudini tende a far crescere il premio per le risposte giuste? Scegli tutte quelle corrette.
- Scomporre un problema in piccoli passaggi
- Verificare la risposta in un secondo modo
- Provare un’altra strada dopo un vicolo cieco
- Pensare più a lungo sui problemi difficili
- Sembrare più sicuro di sé
- Usare parole più lunghe
Ricorda
I modelli di ragionamento si esercitano su problemi con risposte verificabili. Premiare le risposte giuste rende più probabile un ragionamento attento, passo dopo passo.
Premia abbastanza spesso la risposta giusta e le buone abitudini di ragionamento crescono da sole.
Dati chiave
- È stato dimostrato che chiedere semplicemente a un grande modello di scrivere i passaggi del ragionamento, il cosiddetto chain-of-thought prompting, migliora la sua precisione nei problemi di matematica. · Fonte: Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, Google, 2022
- OpenAI ha riferito che il suo modello o1 migliora sia con più addestramento per rinforzo sia con più tempo per pensare prima di rispondere. · Fonte: OpenAI, Learning to Reason with LLMs, 2024
- DeepSeek ha riferito che l’apprendimento per rinforzo con semplici ricompense basate su regole per le risposte corrette ha portato il suo modello R1-Zero a sviluppare ragionamenti lunghi e autoverifiche, senza esempi di ragionamento scritti da persone. · Fonte: DeepSeek-AI, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, 2025
- I compiti con risposte verificabili, come risultati di matematica o codice che deve superare dei test, si prestano a questo addestramento perché la ricompensa si calcola in automatico, senza un valutatore umano.
Aggiornato:
Domande frequenti
Cos’è un modello di ragionamento?
È un modello linguistico addestrato a risolvere un problema con una catena di passaggi di ragionamento prima di rispondere. Di solito si addestra con l’apprendimento per rinforzo su problemi le cui risposte si possono verificare.
Cos’è la catena di pensiero (chain of thought)?
È il ragionamento passo per passo che un modello scrive per arrivare a una risposta, come quando mostri i passaggi in matematica. Spesso rende più precise le risposte ai problemi con più passaggi.
Perché i modelli di ragionamento ci mettono di più a rispondere?
Scrivono molti passaggi di ragionamento prima della risposta finale, e i problemi più difficili ne richiedono di più. Ogni passaggio costa tempo e potenza di calcolo, ma di solito migliora la precisione.
I modelli di ragionamento sbagliano ancora?
Sì. Fanno meno errori sui problemi verificabili, ma possono comunque partire da un fatto sbagliato o produrre una catena convincente ma difettosa. Verifica le risposte importanti.
Termini correlati