Como os LLMs são feitos / Glossário

Temperatura (IA)

Temperatura é uma configuração que controla o quanto a saída de um modelo de linguagem é previsível ou variada. Temperatura baixa faz ele ficar nos tokens mais prováveis; temperatura alta torna os menos prováveis mais comuns.

Para cada próximo token, o modelo dá uma nota a cada opção, transforma as notas em chances e sorteia uma. A temperatura divide as notas antes dessa etapa: abaixo de 1, a favorita fica ainda mais forte; acima de 1, as chances se igualam.

Temperatura baixa combina com fatos, código e extração de dados, em que você quer sempre a mesma resposta confiável. Temperatura mais alta combina com brainstorming e escrita criativa, mas, se exagerar, o texto fica estranho ou perde o sentido.

A temperatura costuma ser combinada com outras regras de amostragem, como o top-k, que sorteia só entre os k tokens mais prováveis, ou o top-p, que sorteia só no menor grupo de tokens que cobre a maior parte das chances.