Como os LLMs são feitos / Glossário

Benchmark de IA

Um benchmark de IA é um conjunto fixo de tarefas com respostas verificáveis, como questões de prova, problemas de matemática ou tarefas de programação, usado para medir e comparar o desempenho dos modelos.

Benchmarks conhecidos incluem o MMLU, com questões de múltipla escolha em 57 áreas, o HumanEval, com 164 problemas de programação conferidos rodando testes, e o GSM8K, com cerca de 8.500 problemas de matemática do ensino fundamental.

Uma nota só significa algo em condições justas. Se as questões vazaram para os dados de treino, um problema chamado contaminação, o modelo pode simplesmente lembrar as respostas. Todo modelo também precisa ser testado com os mesmos prompts e regras.

Benchmarks se esgotam: quando os melhores modelos chegam perto da nota máxima, o teste não consegue mais diferenciá-los, e surgem testes novos e mais difíceis. Os laboratórios somam comparações humanas às cegas e testes de segurança, porque uma nota alta não prova que um modelo é útil ou seguro.