Was ist eine Model Card, und was sollte ein KI-Start verraten?
Eine Model Card ist ein kurzes, öffentliches Dokument zu einem KI-Modell, ähnlich einer Nährwerttabelle. Sie sagt, wofür das Modell gedacht ist und wofür nicht, wie es trainiert wurde, welche Testergebnisse es hat, wo seine bekannten Grenzen liegen und welche Sicherheitsprüfungen es bestanden hat. Ein verantwortungsvoller Start kommt in Stufen, wird überwacht und bietet eine Meldestelle für Probleme.
▶ Probier es aus
Warum das wichtig ist
Die letzte Station am Band ist der Start. Eine gute Model Card zeigt allen, von Entwicklern über Journalistinnen bis zu dir, was ein Modell kann, wo es versagt und wie es geprüft wurde.
In 6 Minuten kannst du
- Achte auf Einsatzzweck, bekannte Grenzen, benannte Testergebnisse und Sicherheitsbefunde.
- Vage Aussagen wie „hervorragende Ergebnisse“ oder „keine Grenzen“ sind Warnsignale.
- Verantwortungsvolle Starts prüfen Daten, Ergebnisse und Angriffe vorher und beobachten danach weiter.
Das übst du
Was steht auf der Card?
Wähl alles, was eine gute Model Card enthalten sollte.
- Wofür das Modell gedacht ist und wofür nicht
- Bekannte Grenzen und Schwachstellen
- Testergebnisse, mit den Namen der Tests
- Sicherheitstests und Red-Team-Ergebnisse
- Mit welchen Arten von Daten es trainiert wurde
- Ein Versprechen, dass es nie Fehler macht
- Die privaten Chats aller Nutzer
Finde die Warnsignale
Quickstep AI, ein ausgedachtes Start-up, hat seine Model Card hastig veröffentlicht. Tipp auf die Stellen, die dir Sorgen machen sollten.
Nimbus-1 · Model Card
Modell: Nimbus-1, ein Chat-Modell.
Größe: 3 Milliarden Parameter.
Einsatzzweck: Jede Aufgabe, auch medizinischer und rechtlicher Rat.
Trainingsdaten: Daten aus dem Internet.
Sprachen: Englisch und Spanisch.
Evaluation: Auf vielen Benchmarks getestet. Ergebnis: hervorragend.
Bekannte Grenzen: Keine.
Lizenz: Nur für Forschungszwecke.Starte Vireos Release-Band
Tipp eine Prüfung an, dann die Station, an der sie ihr Problem erwischt. Dann starte das Release und sieh, wie fünf Änderungen Richtung Öffentlichkeit rollen.
Sammeln → Testen → Angriff → Start → Öffentlichkeit
Release-Prüfungen
- Datenprüfung → Sammeln
Die Datenprüfung gehört zu Sammeln: Private oder unerwünschte Daten müssen vor dem Training raus, nicht danach. - Benchmark-Paket → Testen
Benchmarks laufen bei Testen, sobald es ein trainiertes Modell gibt, das man bewerten und mit der letzten Version vergleichen kann. - Red-Team-Prüfung → Angriff
Red Teams arbeiten bei Angriff: knifflige Prompts gegen das fertige Modell, bevor es sonst jemand probieren kann. - Model-Card-Prüfung → Start
Die Card wird beim Start geprüft: Jedes Versprechen auf der Startseite muss zu dem passen, was die Tests wirklich zeigten.
Release-Log
- Katharina: Neuen Stapel Webtext hinzufügen
Gestoppt bei Sammeln durch Datenprüfung: eine geleakte Kundenliste im Stapel. Fix: Entfernen und den Trainingssatz neu bauen. - Deniz: Tempo-Tweak am Modell
Gestoppt bei Testen durch Benchmark-Paket: Mathe-Ergebnisse 9 Punkte gefallen. Fix: Tweak zurücknehmen und neu testen. - Stefan: Freundlichere Persönlichkeit
Gestoppt bei Angriff durch Red-Team-Prüfung: Rollenspiele entlocken jetzt schädliche Antworten. Fix: Sicherheitstraining für Rollenspiele ergänzen und neu testen. - Aylin: Tippfehler im Begrüßungstext beheben
Sicher veröffentlicht - Markus: Startseite: „sicher für medizinische Diagnosen“
Gestoppt bei Start durch Model-Card-Prüfung: ein Versprechen, das kein Test stützt. Fix: Medizinischen Rat unter „nicht gedacht für“ aufführen.
- Datenprüfung → Sammeln
Merk dir
Eine Model Card sagt, wofür ein Modell da ist, wo es versagt und wie es getestet wurde. Keine Card oder eine vage ist ein Warnsignal.
Die wichtigsten Fakten
- Model Cards wurden 2019 vorgeschlagen: kurze Dokumente über Einsatzzweck, Leistung für verschiedene Gruppen und Grenzen eines Modells. · Quelle: Mitchell et al., Model Cards for Model Reporting, FAT* 2019
- Eine verwandte Idee, Datenblätter für Datensätze, bittet die Ersteller, festzuhalten, woher die Daten kommen, wie sie gesammelt wurden und wofür sie gedacht sind. · Quelle: Gebru et al., Datasheets for Datasets, Communications of the ACM, 2021
- 2019 veröffentlichte OpenAI sein Modell GPT-2 in Stufen, erst kleinere Versionen, um Missbrauch zu untersuchen, bevor die größte folgte. · Quelle: Solaiman et al., Release Strategies and the Social Impacts of Language Models, OpenAI, 2019
- Nach der KI-Verordnung der EU müssen Anbieter von KI-Modellen mit allgemeinem Verwendungszweck eine technische Dokumentation führen und Entwicklern, die darauf aufbauen, Infos über Fähigkeiten und Grenzen des Modells geben. · Quelle: EU Artificial Intelligence Act, Regulation (EU) 2024/1689, Article 53
Aktualisiert:
Häufige Fragen
Was ist eine Model Card bei KI?
Eine Model Card ist ein kurzes Dokument, das mit einem KI-Modell veröffentlicht wird. Es beschreibt, wofür das Modell gedacht ist, wie es trainiert und getestet wurde, wie gut es abschneidet und wo es bekanntermaßen versagt.
Was ist der Unterschied zwischen Model Card und System Card?
Eine Model Card beschreibt ein einzelnes Modell. Eine System Card, die manche Labore nutzen, deckt ein ganzes Produkt rund um Modelle ab, inklusive Sicherheitstests, Filtern und Einsatz.
Warum werden KI-Modelle in Stufen veröffentlicht?
Gibt ein Labor das Modell erst einer kleinen Gruppe, kann es beobachten, wie es genutzt wird, und Probleme beheben, bevor sich Millionen Menschen darauf verlassen.
Wo finde ich die Model Card eines Modells?
Meist auf der Website des Labors neben der Ankündigung, im technischen Bericht oder auf der Seite, auf der man das Modell herunterladen kann.
Verwandte Begriffe