Come nascono gli LLM / Glossario

Catena di pensiero (chain of thought)

La catena di pensiero è il ragionamento passo per passo che un modello linguistico scrive prima della risposta finale. I modelli di ragionamento sono addestrati a produrre lunghe catene di pensiero per risolvere problemi più difficili.

Nel 2022 i ricercatori hanno mostrato che basta chiedere a un grande modello di scrivere i passaggi uno per uno per migliorarne la precisione sui problemi di matematica a parole. Scrivere i passaggi dà al modello più testo su cui costruire prima di impegnarsi in una risposta.

I modelli di ragionamento vanno oltre grazie all’addestramento. Si esercitano su problemi con risposte verificabili, come matematica e codice, e l’apprendimento per rinforzo premia le catene che arrivano al risultato giusto. Abitudini come ricontrollare il proprio lavoro si rafforzano, e pensare più a lungo spesso aiuta.

Una catena di pensiero è utile ma non è una finestra perfetta sul modello. I ricercatori hanno visto che i passaggi scritti non sempre riflettono ciò che ha davvero portato alla risposta, quindi il risultato finale va comunque verificato.