Cómo se crean los LLM / Glosario

Benchmark de IA

Un benchmark de IA es un conjunto fijo de tareas con respuestas comprobables, como preguntas de examen, problemas de matemáticas o tareas de programación, que sirve para medir y comparar el rendimiento de los modelos.

Entre los benchmarks más conocidos están MMLU, con preguntas tipo test de 57 materias, HumanEval, con 164 problemas de programación comprobados ejecutando pruebas, y GSM8K, unos 8.500 problemas de matemáticas de primaria con enunciado.

Una nota solo significa algo en condiciones justas. Si las preguntas del benchmark se colaron en los datos de entrenamiento, un problema llamado contaminación, el modelo puede simplemente recordar las respuestas. Además, todos los modelos deben probarse con los mismos prompts y las mismas reglas.

Los benchmarks se agotan: cuando los mejores modelos rozan la nota máxima, una prueba ya no los distingue y aparecen otras nuevas y más difíciles. Los laboratorios añaden comparaciones humanas a ciegas y pruebas de seguridad, porque una nota alta no demuestra que un modelo sea útil o seguro.