¿Cómo se evalúan y puntúan los modelos de lenguaje de IA?
Los nuevos modelos de lenguaje se evalúan con benchmarks: conjuntos fijos de preguntas con respuestas comprobables, como problemas de matemáticas, tareas de programación con pruebas o exámenes tipo test. Los laboratorios añaden pruebas de seguridad y comparaciones humanas a ciegas. Una puntuación solo significa algo si las preguntas no estaban en los datos de entrenamiento y todos los modelos se evalúan con las mismas reglas.
▶ Pruébalo
Por qué importa
Cada lanzamiento llega con números enormes. Saber cómo funcionan las pruebas te permite distinguir una mejora real de una prueba con fugas o una comparación injusta.
En 6 minutos sabrás
- Los benchmarks son conjuntos fijos de preguntas con respuestas comprobables, de matemáticas a programación o seguridad.
- Las notas engañan cuando las preguntas se filtraron al entrenamiento o las reglas cambian entre modelos.
- Busca comparaciones a ciegas, resultados externos y pruebas con tareas como las tuyas.
Lo que vas a practicar
¿Prueba justa o con fugas?
¿Puedes fiarte de la puntuación de esta prueba?
- Preguntas escritas después de reunir los datos de entrenamiento del modelo → Prueba justa
- Un examen de matemáticas publicado en internet hace años, con soluciones → Puntuación poco fiable
- Tareas de programación revisadas ejecutando el código de verdad → Prueba justa
- El equipo retoca el modelo hasta que borda esta única prueba → Puntuación poco fiable
- Personas comparan dos respuestas sin saber qué modelo escribió cada una → Prueba justa
- Nuestro modelo tiene 10 intentos por pregunta y el rival, 1 → Puntuación poco fiable
Revisa las afirmaciones del lanzamiento
Halcyon AI, un laboratorio rival inventado, acaba de presentar Halcyon 2. Elige la comprobación adecuada para cada afirmación, mira qué descubre y ponle un sello.
Tú: ¿Qué trae de nuevo Halcyon 2?
Halcyon AI: ¡Os presentamos Halcyon 2, nuestro mejor modelo hasta ahora!Saca un 92 % en MathBench, una prueba pública de 1000 problemas de matemáticas escolares.Supera a Vireo 3 en programación: 71 % frente a 64 %.En pruebas a ciegas, la gente prefirió sus respuestas 6 de cada 10 veces.Es el modelo más seguro jamás creado.Saca un 89 % en un conjunto nuevo de preguntas escritas después de terminar su entrenamiento.¡Pruébalo hoy!- Saca un 92 % en MathBench, una prueba pública de 1000 problemas de matemáticas escolares.
Buscar fugas · Leer los detalles · Una prueba pública popular puede haberse filtrado en la web, y de ahí a los datos de entrenamiento. Compruébalo primero.
Informe técnico de Halcyon 2 · sección de datos: MathBench está en internet desde 2021, y los datos de entrenamiento incluyen foros que copian sus preguntas y respuestas.
→ Engañosa: Si el modelo vio las preguntas y respuestas al entrenarse, ese 92 % puede ser memoria y no habilidad matemática.
- Supera a Vireo 3 en programación: 71 % frente a 64 %.
Comparar en igualdad · Leer los detalles · Dos notas una al lado de otra solo significan algo si los dos modelos hicieron la prueba igual.
Informe técnico de Halcyon 2 · nota al pie 4: Halcyon 2 tuvo 10 intentos por tarea, contada como resuelta si cualquier intento la superaba. El 64 % de Vireo 3 es con un solo intento.
→ Engañosa: Diez intentos contra uno no es una carrera justa. Con las mismas reglas, la diferencia podría reducirse o desaparecer.
- En pruebas a ciegas, la gente prefirió sus respuestas 6 de cada 10 veces.
Buscar resultados externos · Leer los detalles · Las afirmaciones de preferencia son fáciles de comprobar si otros también hicieron la comparación. Busca resultados independientes.
Una web de valoración independiente · votos a ciegas: 4200 votos a ciegas: se prefirió la respuesta de Halcyon 2 en el 58 % de las comparaciones.
→ Se sostiene: A ciegas, con muchos votos, hecha por otros, y un 58 % se acerca a lo que dicen. Esta se sostiene.
- Es el modelo más seguro jamás creado.
Sentido común · Leer los detalles · Una afirmación tan rotunda y sin números debería hacerte parar. ¿Qué prueba podría demostrar un «jamás»?
Informe técnico de Halcyon 2 · sección de seguridad: No se nombran pruebas de seguridad, ni puntuaciones, ni evaluadores externos.
→ No verificable: Nada demuestra que sea falsa, pero nada la respalda. Sin pruebas concretas y resultados, no se puede comprobar.
- Saca un 89 % en un conjunto nuevo de preguntas escritas después de terminar su entrenamiento.
Leer los detalles · Buscar fugas · Lee cómo se hizo la prueba: quién escribió las preguntas, cuándo y si son públicas.
Informe técnico de Halcyon 2 · sección de evaluación: Preguntas escritas por expertos contratados después de reunir los datos de entrenamiento, y que se mantienen privadas.
→ Se sostiene: Las preguntas nuevas y privadas no pueden haberse filtrado al entrenamiento. Eso es lo que hace justa una prueba.
- Saca un 92 % en MathBench, una prueba pública de 1000 problemas de matemáticas escolares.
Leer el boletín de notas
Todos los modelos nuevos sacan más de un 95 % en un examen antiguo. ¿Qué te dice eso?
- El examen ya es demasiado fácil para distinguir modelos (Respuesta)
- La IA ya hace a la perfección todo lo que cubre ese examen
¿Por qué algunos creadores de pruebas mantienen sus preguntas en secreto?
- Para que no se filtren a los datos de entrenamiento (Respuesta)
- Para que nadie pueda quejarse de las preguntas
Vireo borda un benchmark difícil de programación. ¿Qué deberías comprobar aun así antes de confiarle tu proyecto?
- Cómo le va con tareas como las tuyas, y probar su código (Respuesta)
- Nada: el benchmark ya lo ha demostrado
Recuerda
Una puntuación de benchmark vale lo que vale la prueba: preguntas nuevas, las mismas reglas para todos los modelos y resultados que otros puedan comprobar.
Una puntuación de benchmark vale lo que vale la prueba: preguntas nuevas, las mismas reglas para todos y resultados que otros puedan comprobar.
Datos clave
- MMLU, un benchmark de conocimientos muy usado, tiene preguntas tipo test de 57 materias, de matemáticas a derecho. · Fuente: Hendrycks et al., Measuring Massive Multitask Language Understanding, ICLR 2021
- HumanEval evalúa la programación con 164 problemas escritos a mano, y cada uno se comprueba ejecutando pruebas unitarias sobre el código del modelo. · Fuente: Chen et al., Evaluating Large Language Models Trained on Code, OpenAI, 2021
- GSM8K es un conjunto de unos 8500 problemas de matemáticas de primaria con enunciado que se usa para evaluar el razonamiento paso a paso. · Fuente: Cobbe et al., Training Verifiers to Solve Math Word Problems, OpenAI, 2021
- El artículo de GPT-3 comprobó cuántas preguntas de benchmarks se habían filtrado a sus datos de entrenamiento, un problema llamado contaminación. · Fuente: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- Chatbot Arena clasifica modelos con votos a ciegas de muchísimas personas: comparan dos respuestas anónimas y eligen la mejor. · Fuente: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, 2023
Actualizado:
Preguntas frecuentes
¿Qué es un benchmark de LLM?
Un benchmark es un conjunto fijo de tareas con respuestas comprobables, como preguntas de examen, problemas de matemáticas o tareas de programación. Pasar distintos modelos por el mismo benchmark da puntuaciones comparables.
¿Qué es la contaminación de un benchmark?
La contaminación significa que las preguntas o respuestas de la prueba acabaron en los datos de entrenamiento de un modelo. Entonces puede sacar buena nota recordando en vez de razonando, y la nota exagera su habilidad.
¿Son fiables las puntuaciones de los benchmarks de IA?
Son útiles, pero limitadas. Fíate más cuando las preguntas son nuevas o privadas, todos los modelos siguen las mismas reglas y grupos independientes obtienen resultados parecidos.
¿Cómo ordenan los modelos las clasificaciones de IA?
Algunas promedian notas de varios benchmarks. Otras reúnen votos a ciegas: la gente compara dos respuestas anónimas a la misma petición, elige la mejor y los votos se suman en una clasificación.
Términos relacionados