Como os modelos de linguagem de IA são testados e avaliados?
Novos modelos de linguagem são testados em benchmarks: conjuntos fixos de perguntas com respostas verificáveis, como problemas de matemática, tarefas de programação com testes ou provas de múltipla escolha. Os laboratórios somam testes de segurança e comparações às cegas feitas por pessoas. Uma nota só vale algo se as perguntas não estavam nos dados de treino e todos os modelos seguem as mesmas regras.
▶ Pratique
Por que isso importa
Todo lançamento vem com números grandes. Saber como os testes funcionam ajuda você a separar uma melhora real de um teste vazado ou de uma comparação injusta.
Em 6 minutos você vai conseguir
- Benchmarks são conjuntos fixos de perguntas com respostas verificáveis, de matemática a programação e segurança.
- As notas enganam quando perguntas do teste vazaram para o treino ou as regras mudam de um modelo para outro.
- Procure comparações às cegas, resultados externos e testes em tarefas parecidas com as suas.
O que você vai praticar
Teste justo ou teste vazado?
Dá para confiar na nota deste teste?
- Perguntas escritas depois que os dados de treino do modelo foram coletados → Teste justo
- Uma prova de matemática publicada on-line anos atrás, com gabarito → Nota não confiável
- Tarefas de programação conferidas rodando o código de verdade → Teste justo
- A equipe ajusta o modelo até ele gabaritar este único teste → Nota não confiável
- Pessoas comparam duas respostas sem saber qual modelo escreveu cada uma → Teste justo
- Nosso modelo tem 10 tentativas por pergunta, o rival tem 1 → Nota não confiável
Confira as promessas do lançamento
A Halcyon AI, um laboratório rival inventado, acabou de anunciar o Halcyon 2. Escolha a conferência certa para cada afirmação, veja o que ela revela e carimbe.
Você: O que há de novo no Halcyon 2?
Halcyon AI: Conheça o Halcyon 2, nosso melhor modelo até hoje!Ele tira 92% no MathBench, um teste público com 1.000 problemas de matemática escolar.Ele ganha do Vireo 3 em programação: 71% contra 64%.Em testes às cegas, as pessoas preferiram as respostas dele 6 em cada 10 vezes.É o modelo mais seguro já criado.Ele tira 89% num conjunto novo de perguntas escritas depois do fim do treino.Experimente hoje!- Ele tira 92% no MathBench, um teste público com 1.000 problemas de matemática escolar.
Procurar vazamentos · Ler os detalhes do teste · Um teste público famoso pode ter vazado para a web, e de lá para os dados de treino. Confira isso primeiro.
Relatório técnico do Halcyon 2 · seção de dados: O MathBench está on-line desde 2021, e os dados de treino incluem páginas de fórum que copiam as perguntas e respostas.
→ Enganoso: Se o modelo viu as perguntas e as respostas no treino, os 92% podem ser memória, não habilidade em matemática.
- Ele ganha do Vireo 3 em programação: 71% contra 64%.
Comparar igual com igual · Ler os detalhes do teste · Duas notas lado a lado só significam algo se os dois modelos fizeram o teste do mesmo jeito.
Relatório técnico do Halcyon 2 · nota de rodapé 4: O Halcyon 2 teve 10 tentativas por tarefa, contando como resolvida se qualquer uma passasse. Os 64% do Vireo 3 são de uma única tentativa.
→ Enganoso: Dez tentativas contra uma não é uma disputa justa. Com as mesmas regras, a diferença pode diminuir ou sumir.
- Em testes às cegas, as pessoas preferiram as respostas dele 6 em cada 10 vezes.
Achar resultados externos · Ler os detalhes do teste · Afirmações de preferência são fáceis de conferir se outros também fizeram a comparação. Procure resultados independentes.
Um site independente de avaliação · votos às cegas: 4.200 votos às cegas: a resposta do Halcyon 2 foi preferida em 58% das comparações.
→ Se sustenta: Às cegas, com muitos votos, feita por outra pessoa, e 58% fica perto do prometido. Esta se sustenta.
- É o modelo mais seguro já criado.
Bom senso · Ler os detalhes do teste · Uma afirmação grandiosa sem número deve fazer você parar. Que teste conseguiria provar “já criado”?
Relatório técnico do Halcyon 2 · seção de segurança: Nenhum teste de segurança citado, nenhuma nota, nenhum testador externo mencionado.
→ Não dá para verificar: Nada mostra que é falso, mas nada sustenta também. Sem testes e resultados citados, não dá para conferir.
- Ele tira 89% num conjunto novo de perguntas escritas depois do fim do treino.
Ler os detalhes do teste · Procurar vazamentos · Leia como o teste foi feito: quem escreveu as perguntas, quando e se elas são públicas.
Relatório técnico do Halcyon 2 · seção de avaliação: Perguntas escritas por especialistas contratados depois da coleta dos dados de treino e mantidas em sigilo.
→ Se sustenta: Perguntas novas e sigilosas não podem ter vazado para o treino. É isso que faz um teste justo.
- Ele tira 92% no MathBench, um teste público com 1.000 problemas de matemática escolar.
Lendo o boletim
Todo modelo novo agora tira mais de 95% numa prova antiga. O que isso diz a você?
- A prova ficou fácil demais para diferenciar os modelos (Resposta)
- A IA agora faz com perfeição tudo o que a prova cobre
Por que alguns criadores de testes mantêm as perguntas em segredo?
- Para as perguntas não vazarem para os dados de treino (Resposta)
- Para ninguém poder reclamar das perguntas
O Vireo gabarita um benchmark difícil de programação. O que você ainda deve conferir antes de confiar nele para o seu projeto?
- Como ele se sai em tarefas como as suas, e testar o código dele (Resposta)
- Nada: o benchmark já provou tudo
Lembre-se
Uma nota de benchmark só vale o que vale o teste: perguntas novas, as mesmas regras para todos os modelos e resultados que outros possam conferir.
Uma nota de benchmark só vale o que vale o teste: perguntas novas, as mesmas regras para todos e resultados que outros possam conferir.
Fatos principais
- O MMLU, um benchmark de conhecimento muito usado, tem perguntas de múltipla escolha em 57 matérias, de matemática a direito. · Fonte: Hendrycks et al., Measuring Massive Multitask Language Understanding, ICLR 2021
- O HumanEval testa programação com 164 problemas escritos à mão, cada um conferido rodando testes unitários no código do modelo. · Fonte: Chen et al., Evaluating Large Language Models Trained on Code, OpenAI, 2021
- O GSM8K é um conjunto de cerca de 8.500 problemas de matemática do ensino fundamental, com enunciado, usado para testar o raciocínio passo a passo. · Fonte: Cobbe et al., Training Verifiers to Solve Math Word Problems, OpenAI, 2021
- O artigo do GPT-3 verificou quantas perguntas de benchmarks tinham vazado para os dados de treino, um problema chamado contaminação. · Fonte: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- O Chatbot Arena classifica modelos com votos às cegas, lado a lado, de muitas pessoas: elas comparam duas respostas anônimas e escolhem a melhor. · Fonte: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, 2023
Atualizado:
Perguntas frequentes
O que é um benchmark de LLM?
Um benchmark é um conjunto fixo de tarefas com respostas verificáveis, como questões de prova, problemas de matemática ou tarefas de programação. Rodar modelos diferentes no mesmo benchmark gera notas comparáveis.
O que é contaminação de benchmark?
Contaminação quer dizer que perguntas ou respostas do teste foram parar nos dados de treino de um modelo. Aí ele pode tirar nota boa por lembrar em vez de raciocinar, e a nota exagera a habilidade dele.
As notas de benchmarks de IA são confiáveis?
São úteis, mas limitadas. Confie mais quando as perguntas são novas ou sigilosas, todos os modelos seguem as mesmas regras e grupos independentes chegam a resultados parecidos.
Como os rankings de IA classificam os modelos?
Alguns fazem a média das notas em vários benchmarks. Outros coletam votos às cegas: pessoas comparam duas respostas anônimas ao mesmo prompt, escolhem a melhor, e os votos somados viram um ranking.
Termos relacionados