Przejdź do treści
PL

Lekcja 6 z 6 · 6 min · +100 XP

Co to jest karta modelu i co powinna ci powiedzieć premiera AI?

Karta modelu (model card) to krótki publiczny dokument wydawany razem z modelem AI, trochę jak etykieta z wartościami odżywczymi. Mówi, do czego model służy, a do czego nie, jak go trenowano, jakie ma wyniki testów, znane ograniczenia i jakie kontrole bezpieczeństwa przeszedł. Odpowiedzialna premiera dodaje stopniowe udostępnianie, monitoring i sposób zgłaszania problemów.

▶ Wypróbuj

Dlaczego to ważne

Ostatnia stacja na linii to premiera. Dobra karta modelu pozwala każdemu, od programistów przez dziennikarzy po ciebie, zobaczyć, co model potrafi, gdzie zawodzi i jak go sprawdzono.

W 6 minut nauczysz się

  • Szukaj przeznaczenia, znanych ograniczeń, nazwanych wyników testów i znalezisk z testów bezpieczeństwa.
  • Ogólniki typu „znakomite wyniki” albo „brak ograniczeń” to czerwone flagi.
  • Odpowiedzialne premiery sprawdzają dane, wyniki i ataki przed wydaniem, a potem dalej obserwują.

Co przećwiczysz

  1. Co trafia do karty?

    Wybierz wszystko, co powinna zawierać dobra karta modelu.

    • Do czego model służy, a do czego nie
    • Znane ograniczenia i słabe punkty
    • Wyniki testów, z nazwami testów
    • Testy bezpieczeństwa i znaleziska red teamu
    • Na jakich rodzajach danych go trenowano
    • Obietnica, że nigdy się nie myli
    • Prywatne czaty wszystkich użytkowników

  2. Wyłap czerwone flagi

    Quickstep AI, wymyślony start-up, w pośpiechu opublikował kartę modelu. Stuknij fragmenty, które powinny cię zaniepokoić.

    Nimbus-1 · karta modelu
    Model: Nimbus-1, model czatowy.
    Rozmiar: 3 mld parametrów.
    Przeznaczenie: Każde zadanie, w tym porady medyczne i prawne.
    Dane treningowe: Dane z internetu.
    Języki: Angielski i hiszpański.
    Ewaluacja: Testowany na wielu benchmarkach. Wyniki: znakomite.
    Znane ograniczenia: Brak.
    Licencja: Tylko do celów badawczych.

  3. Uruchom linię wydania Vireo

    Stuknij kontrolę wydania, a potem etap, na którym może wyłapać swój problem. Potem uruchom wydanie i patrz, jak pięć zmian zmierza do ludzi.

    zbiórka → test → atak → premiera → publicznie

    Kontrole wydania
    • Kontrola danych → zbiórka
      Kontrola danych należy do etapu zbiórka: prywatne lub niechciane dane trzeba usunąć przed treningiem, a nie po nim.
    • Zestaw benchmarków → test
      Benchmarki działają na etapie test, gdy jest już wytrenowany model do oceny i porównania z poprzednią wersją.
    • Przegląd red teamu → atak
      Red teamerzy pracują na etapie atak: podchwytliwe prompty przeciw gotowemu modelowi, zanim ktokolwiek inny spróbuje.
    • Przegląd karty modelu → premiera
      Kartę sprawdza się na etapie premiera: każda obietnica na stronie premiery musi zgadzać się z tym, co naprawdę pokazały testy.
    Dziennik wydania
    • Anna: Dodaje nową partię tekstu z sieci
      Zatrzymane na etapie zbiórka przez: Kontrola danych: w partii ukryta jest wykradziona lista klientów. Poprawka: Usuń ją i zbuduj zbiór treningowy od nowa.
    • Piotr: Poprawka przyspieszająca model
      Zatrzymane na etapie test przez: Zestaw benchmarków: wyniki z matematyki spadły o 9 punktów. Poprawka: Wycofaj poprawkę i przetestuj ponownie.
    • Kasia: Przyjaźniejsza osobowość
      Zatrzymane na etapie atak przez: Przegląd red teamu: odgrywanie ról odblokowuje teraz szkodliwe odpowiedzi. Poprawka: Dodaj trening bezpieczeństwa dla odgrywania ról i przetestuj ponownie.
    • Michał: Poprawia literówkę w tekście powitalnym
      Wydane bezpiecznie
    • Paweł: Strona premiery: „bezpieczny do diagnozy medycznej”
      Zatrzymane na etapie premiera przez: Przegląd karty modelu: obietnica, której nie potwierdza żaden test. Poprawka: Wpisz porady medyczne pod „nie jest przeznaczony do”.

Zapamiętaj

Karta modelu mówi, do czego model służy, gdzie zawodzi i jak go testowano. Brak karty albo ogólnikowa karta to sygnał ostrzegawczy.

Najważniejsze fakty

  • Karty modeli zaproponowano w 2019 roku jako krótkie dokumenty opisujące przeznaczenie modelu, jego wyniki w różnych grupach i ograniczenia. · Źródło: Mitchell et al., Model Cards for Model Reporting, FAT* 2019
  • Pokrewny pomysł, karty danych dla zbiorów danych (datasheets for datasets), prosi twórców zbiorów o opisanie, skąd pochodzą dane, jak je zebrano i do czego powinny służyć. · Źródło: Gebru et al., Datasheets for Datasets, Communications of the ACM, 2021
  • W 2019 roku OpenAI wydało model GPT-2 etapami, zaczynając od mniejszych wersji, by zbadać nadużycia przed udostępnieniem największej. · Źródło: Solaiman et al., Release Strategies and the Social Impacts of Language Models, OpenAI, 2019
  • Zgodnie z unijnym aktem w sprawie AI (AI Act) dostawcy modeli AI ogólnego przeznaczenia muszą prowadzić dokumentację techniczną i przekazywać firmom, które budują na tych modelach, informacje o ich możliwościach i ograniczeniach. · Źródło: EU Artificial Intelligence Act, Regulation (EU) 2024/1689, Article 53

Aktualizacja:

Częste pytania

Co to jest karta modelu w AI?

Karta modelu to krótki dokument publikowany razem z modelem AI. Opisuje, do czego model służy, jak go trenowano i testowano, jak dobrze działa i gdzie wiadomo, że zawodzi.

Czym różni się karta modelu od karty systemu?

Karta modelu opisuje jeden model. Karta systemu (system card), stosowana przez niektóre laboratoria, obejmuje cały produkt zbudowany wokół modeli, w tym testy bezpieczeństwa, filtry i sposób wdrożenia.

Dlaczego modele AI wydaje się etapami?

Udostępnienie modelu najpierw małej grupie pozwala laboratorium obserwować, jak jest używany, i naprawić problemy, zanim zaczną na nim polegać miliony ludzi.

Gdzie znaleźć kartę modelu?

Zwykle na stronie laboratorium obok zapowiedzi premiery, w raporcie technicznym albo na stronie, z której można pobrać model.

Powiązane pojęcia