O que é um model card e o que o lançamento de uma IA deve contar a você?
Um model card (cartão do modelo) é um documento público curto lançado junto com um modelo de IA, como uma tabela nutricional. Ele diz para que o modelo serve e para que não serve, como foi treinado, os resultados dos testes, as limitações conhecidas e as checagens de segurança que passou. Um lançamento responsável soma liberação gradual, monitoramento e um canal para relatar problemas.
▶ Pratique
Por que isso importa
A última estação da linha é o lançamento. Um bom model card permite a qualquer pessoa, de desenvolvedores a jornalistas e você, ver o que um modelo faz, onde falha e como foi verificado.
Em 6 minutos você vai conseguir
- Procure usos previstos, limites conhecidos, resultados de testes com nome e descobertas de segurança.
- Afirmações vagas como “resultados excelentes” ou “nenhuma limitação” são sinais de alerta.
- Lançamentos responsáveis conferem dados, notas e ataques antes de lançar, e seguem de olho depois.
O que você vai praticar
O que vai no card?
Marque tudo o que um bom model card deve incluir.
- Para que o modelo serve, e para que não serve
- Limitações e pontos fracos conhecidos
- Resultados de testes, com o nome dos testes
- Testes de segurança e descobertas do red team
- Que tipos de dados foram usados no treino
- Uma promessa de que ele nunca erra
- As conversas privadas de cada usuário com ele
Ache os sinais de alerta
A Quickstep AI, uma startup inventada, publicou seu model card às pressas. Toque nas partes que deveriam preocupar você.
Nimbus-1 · model card
Modelo: Nimbus-1, um modelo de chat.
Tamanho: 3 bilhões de parâmetros.
Uso previsto: Qualquer tarefa, inclusive orientação médica e jurídica.
Dados de treino: Dados da internet.
Idiomas: Inglês e espanhol.
Avaliação: Testado em vários benchmarks. Resultados: excelentes.
Limitações conhecidas: Nenhuma.
Licença: Somente para uso em pesquisa.Rode a linha de lançamento do Vireo
Toque numa checagem e depois na etapa em que ela pega o problema dela. Depois rode o lançamento e veja cinco mudanças seguirem para o público.
coletar → testar → atacar → lançar → público
Checagens de lançamento
- Checagem de dados → coletar
A checagem de dados fica em coletar: dados privados ou indesejados precisam sair antes do treino, não depois. - Bateria de benchmarks → testar
Os benchmarks rodam em testar, quando já existe um modelo treinado para avaliar e comparar com a versão anterior. - Revisão do red team → atacar
O red team trabalha em atacar: prompts traiçoeiros contra o modelo pronto, antes que qualquer outra pessoa possa tentar. - Revisão do model card → lançar
O card é conferido em lançar: cada promessa da página de lançamento precisa bater com o que os testes mostraram de fato.
Registro do lançamento
- Fernanda: Acrescentar um novo lote de texto da web
Barrada em coletar por Checagem de dados: uma lista vazada de clientes escondida no lote. Correção: Remover a lista e refazer o conjunto de treino. - Rafael: Ajuste para deixar o modelo mais rápido
Barrada em testar por Bateria de benchmarks: as notas de matemática caíram 9 pontos. Correção: Desfazer o ajuste e testar de novo. - Thiago: Personalidade mais simpática
Barrada em atacar por Revisão do red team: o faz de conta agora libera respostas danosas. Correção: Acrescentar treino de segurança para faz de conta e testar de novo. - Aline: Corrigir um erro de digitação no texto de boas-vindas
Lançada com segurança - Lucas: Página de lançamento: “seguro para diagnóstico médico”
Barrada em lançar por Revisão do model card: uma promessa que nenhum teste sustenta. Correção: Pôr orientação médica em “não indicado para”.
- Checagem de dados → coletar
Lembre-se
Um model card diz para que um modelo serve, onde falha e como foi testado. Sem card, ou com um card vago, é sinal de alerta.
Fatos principais
- Os model cards foram propostos em 2019 como documentos curtos que informam o uso previsto de um modelo, o desempenho em diferentes grupos e as limitações. · Fonte: Mitchell et al., Model Cards for Model Reporting, FAT* 2019
- Uma ideia irmã, as fichas técnicas de conjuntos de dados (datasheets for datasets), pede que quem cria um conjunto de dados documente de onde vieram os dados, como foram coletados e para que devem ser usados. · Fonte: Gebru et al., Datasheets for Datasets, Communications of the ACM, 2021
- Em 2019, a OpenAI lançou o modelo GPT-2 em etapas, começando pelas versões menores, para estudar o mau uso antes de liberar a maior. · Fonte: Solaiman et al., Release Strategies and the Social Impacts of Language Models, OpenAI, 2019
- Pelo AI Act da União Europeia, os fornecedores de modelos de IA de uso geral precisam manter documentação técnica e informar a quem desenvolve sobre eles as capacidades e limitações do modelo. · Fonte: EU Artificial Intelligence Act, Regulation (EU) 2024/1689, Article 53
Atualizado:
Perguntas frequentes
O que é um model card na IA?
Um model card é um documento curto publicado junto com um modelo de IA. Ele descreve para que o modelo serve, como foi treinado e testado, como se sai e onde se sabe que falha.
Qual a diferença entre model card e system card?
Um model card descreve um modelo. Um system card, usado por alguns laboratórios, cobre um produto inteiro construído em volta de modelos, incluindo testes de segurança, filtros e a forma de uso.
Por que os modelos de IA são lançados em etapas?
Liberar primeiro para um grupo pequeno permite ao laboratório ver como o modelo é usado e corrigir problemas antes que milhões de pessoas dependam dele.
Onde encontro o model card de um modelo?
Em geral no site do laboratório, junto do anúncio de lançamento, no relatório técnico ou na página onde o modelo pode ser baixado.
Termos relacionados