Come nascono gli LLM / Glossario

Temperatura (IA)

La temperatura è un’impostazione che controlla quanto è prevedibile o varia la risposta di un modello linguistico. Una temperatura bassa lo fa restare sui token più probabili; una alta rende più frequenti quelli meno probabili.

Per ogni token successivo il modello dà un punteggio a ogni opzione, trasforma i punteggi in probabilità e poi ne estrae una. La temperatura divide i punteggi prima di quel passaggio: sotto 1 la favorita diventa ancora più forte, sopra 1 le probabilità si livellano.

Una temperatura bassa va bene per fatti, codice ed estrazione di dati, dove vuoi sempre la stessa risposta affidabile. Una più alta va bene per brainstorming e scrittura creativa, ma se esageri il testo diventa strano o ha meno senso.

La temperatura si combina spesso con altre regole di campionamento, come top-k, che estrae solo tra i k token più probabili, o top-p, che estrae solo dal gruppo più piccolo di token che copre la maggior parte della probabilità.