Cómo se crean los LLM / Glosario

Temperatura (IA)

La temperatura es un ajuste que controla lo predecible o variado que es el texto de un modelo de lenguaje. Con temperatura baja se ciñe a los tokens más probables; con temperatura alta aparecen más a menudo los menos probables.

Para cada token siguiente, el modelo puntúa todas las opciones, convierte las puntuaciones en probabilidades y sortea una. La temperatura divide las puntuaciones antes de ese paso: por debajo de 1 la favorita gana aún más fuerza, por encima de 1 las probabilidades se igualan.

La temperatura baja va bien para datos, código y extracción de información, donde quieres la misma respuesta fiable. La alta va bien para lluvias de ideas y escritura creativa, pero si se sube demasiado el texto se vuelve raro o pierde sentido.

La temperatura suele combinarse con otras reglas de muestreo, como top-k, que solo sortea entre los k tokens más probables, o top-p, que solo sortea entre el grupo más pequeño de tokens que cubre la mayor parte de la probabilidad.