C'est quoi une model card, et que doit t'apprendre le lancement d'une IA ?
Une model card, ou fiche de modèle, est un court document public publié avec un modèle d'IA, comme une étiquette nutritionnelle. Elle dit à quoi il sert ou non, comment il a été entraîné, ses résultats aux tests, ses limites connues et ses contrôles de sécurité. Un lancement responsable ajoute un déploiement progressif, une surveillance et un moyen de signaler les problèmes.
▶ À toi de jouer
Pourquoi c'est important
La dernière étape de la chaîne, c'est le lancement. Une bonne model card permet à tout le monde, des développeurs aux journalistes jusqu'à toi, de voir ce qu'un modèle sait faire, où il échoue et comment il a été vérifié.
En 6 minutes, tu sauras
- Cherche les usages prévus, les limites connues, les résultats de tests nommés et les découvertes de sécurité.
- Les affirmations floues comme « résultats excellents » ou « aucune limite » sont des signaux d'alerte.
- Un lancement responsable vérifie les données, les scores et les attaques avant la sortie, et continue de surveiller après.
Ce que tu vas pratiquer
Qu'y a-t-il sur la fiche ?
Choisis tout ce qu'une bonne model card doit contenir.
- À quoi le modèle sert, et à quoi il ne sert pas
- Ses limites et points faibles connus
- Ses résultats aux tests, avec le nom des tests
- Les tests de sécurité et les découvertes de la red team
- Les types de données sur lesquelles il a été entraîné
- La promesse qu'il ne se trompe jamais
- Les chats privés de chaque utilisateur
Repère les signaux d'alerte
Quickstep AI, une start-up inventée, a bâclé la model card de son modèle. Touche les parties qui devraient t'inquiéter.
Nimbus-1 · model card
Modèle : Nimbus-1, un modèle de chat.
Taille : 3 milliards de paramètres.
Usage prévu : Toutes les tâches, y compris les conseils médicaux et juridiques.
Données d'entraînement : Des données d'Internet.
Langues : Anglais et espagnol.
Évaluation : Testé sur de nombreux benchmarks. Résultats : excellents.
Limites connues : Aucune.
Licence : Usage de recherche uniquement.Lance la chaîne de sortie de Vireo
Touche un contrôle de sortie, puis l'étape où il peut attraper son problème. Ensuite, lance la sortie et regarde cinq changements partir vers le public.
collecte → test → attaque → sortie → public
Contrôles de sortie
- Contrôle des données → collecte
Le contrôle des données se fait à la collecte : les données privées ou indésirables doivent sortir avant l'entraînement, pas après. - Batterie de benchmarks → test
Les benchmarks tournent au test, une fois qu'il y a un modèle entraîné à noter et à comparer avec la version précédente. - Revue red team → attaque
La red team fait son travail à l'attaque : des demandes piégées contre le modèle fini, avant que d'autres puissent essayer. - Revue de la fiche → sortie
La fiche est vérifiée à la sortie : chaque promesse de la page de lancement doit correspondre à ce que les tests ont vraiment montré.
Journal de sortie
- Inès: Ajouter un nouveau lot de textes web
Bloqué à l'étape collecte par Contrôle des données: un fichier clients divulgué caché dans le lot. Correctif : Le retirer et reconstruire le jeu d'entraînement. - Karim: Optimisation de vitesse du modèle
Bloqué à l'étape test par Batterie de benchmarks: les scores en maths ont chuté de 9 points. Correctif : Annuler l'optimisation et retester. - Julien: Personnalité plus sympa
Bloqué à l'étape attaque par Revue red team: le jeu de rôle débloque désormais des réponses dangereuses. Correctif : Ajouter un entraînement à la sécurité pour le jeu de rôle et retester. - Claire: Corriger une faute dans le texte d'accueil
Sorti sans risque - Hugo: Page de lancement : « fiable pour le diagnostic médical »
Bloqué à l'étape sortie par Revue de la fiche: une promesse qu'aucun test n'appuie. Correctif : Classer les conseils médicaux dans « usage non prévu ».
- Contrôle des données → collecte
Retiens bien
Une model card dit à quoi sert un modèle, où il échoue et comment il a été testé. Pas de fiche, ou une fiche floue, c'est un signal d'alerte.
Les chiffres clés
- Les model cards ont été proposées en 2019 comme de courts documents qui décrivent l'usage prévu d'un modèle, ses performances selon les groupes et ses limites. · Source: Mitchell et al., Model Cards for Model Reporting, FAT* 2019
- Une idée sœur, les datasheets for datasets, demande aux créateurs de jeux de données de documenter d'où viennent les données, comment elles ont été collectées et à quoi elles doivent servir. · Source: Gebru et al., Datasheets for Datasets, Communications of the ACM, 2021
- En 2019, OpenAI a publié son modèle GPT-2 par étapes, en commençant par des versions plus petites, pour étudier les abus avant de publier la plus grande. · Source: Solaiman et al., Release Strategies and the Social Impacts of Language Models, OpenAI, 2019
- Selon le règlement européen sur l'IA, les fournisseurs de modèles d'IA à usage général doivent tenir une documentation technique et donner aux développeurs qui les utilisent des informations sur les capacités et les limites du modèle. · Source: EU Artificial Intelligence Act, Regulation (EU) 2024/1689, Article 53
Mis à jour:
Les questions qu'on se pose
C'est quoi une model card en IA ?
Une model card est un court document publié avec un modèle d'IA. Elle décrit à quoi sert le modèle, comment il a été entraîné et testé, ses performances et là où on sait qu'il échoue.
Quelle différence entre une model card et une system card ?
Une model card décrit un modèle. Une system card, utilisée par certains labos, couvre tout un produit construit autour de modèles, y compris les tests de sécurité, les filtres et la façon dont il est déployé.
Pourquoi les modèles d'IA sont-ils lancés par étapes ?
Ouvrir d'abord à un petit groupe permet à un labo d'observer comment le modèle est utilisé et de corriger les problèmes avant que des millions de personnes en dépendent.
Où trouver la model card d'un modèle ?
En général sur le site du labo à côté de l'annonce de lancement, dans son rapport technique, ou sur la page où l'on peut télécharger le modèle.
Termes associés