Przejdź do treści
PL

Lekcja 1 z 6 · 6 min · +100 XP

Jak testuje się i ocenia modele językowe AI?

Nowe modele językowe testuje się na benchmarkach: stałych zestawach pytań z odpowiedziami, które da się sprawdzić, np. zadaniach z matematyki, zadaniach programistycznych z testami czy egzaminach wielokrotnego wyboru. Laboratoria dodają testy bezpieczeństwa i ślepe porównania przez ludzi. Wynik coś znaczy tylko wtedy, gdy pytań nie było w danych treningowych, a każdy model testowano na tych samych zasadach.

▶ Wypróbuj

Dlaczego to ważne

Każdej premierze towarzyszą wielkie liczby. Gdy wiesz, jak działają testy, odróżnisz prawdziwą poprawę od przeciekniętego testu albo nieuczciwego porównania.

W 6 minut nauczysz się

  • Benchmarki to stałe zestawy pytań z odpowiedziami do sprawdzenia, od matematyki przez kodowanie po bezpieczeństwo.
  • Wyniki wprowadzają w błąd, gdy pytania przeciekły do treningu albo zasady różnią się między modelami.
  • Szukaj ślepych porównań, wyników z zewnątrz i testów na zadaniach podobnych do twoich.

Co przećwiczysz

  1. Uczciwy test czy przeciek?

    Czy możesz ufać wynikowi z tego testu?

    • Pytania napisane po zebraniu danych treningowych modelu → Uczciwy test
    • Test z matematyki wrzucony do sieci lata temu, razem z odpowiedziami → Wynik niewiarygodny
    • Zadania z kodowania sprawdzane przez faktyczne uruchomienie kodu → Uczciwy test
    • Zespół podkręca model, aż ten zdaje celująco ten jeden test → Wynik niewiarygodny
    • Ludzie porównują dwie odpowiedzi, nie wiedząc, który model je napisał → Uczciwy test
    • Nasz model ma 10 prób na pytanie, konkurent 1 → Wynik niewiarygodny

  2. Sprawdź zapowiedzi premiery

    Halcyon AI, wymyślone konkurencyjne laboratorium, właśnie ogłosiło model Halcyon 2. Dobierz właściwe sprawdzenie do każdej tezy, zobacz, co wychodzi, i przybij pieczątkę.

    Ty: Co nowego w Halcyon 2?
    Halcyon AI: Poznaj Halcyon 2, nasz najlepszy model w historii!Ma 92% w MathBench, publicznym teście z 1000 szkolnych zadań z matematyki.W kodowaniu bije Vireo 3: 71% do 64%.W ślepych testach ludzie woleli jego odpowiedzi 6 razy na 10.To najbezpieczniejszy model, jaki kiedykolwiek zbudowano.Ma 89% w nowym zestawie pytań napisanych po zakończeniu jego treningu.Wypróbuj już dziś!
    1. Ma 92% w MathBench, publicznym teście z 1000 szkolnych zadań z matematyki.

      Szukaj przecieków · Czytaj szczegóły testu · Popularny publiczny test mógł przeciec do sieci, a stamtąd do danych treningowych. Sprawdź to najpierw.

      Raport techniczny Halcyon 2 · sekcja o danych: MathBench jest w sieci od 2021 roku, a dane treningowe zawierają strony forów kopiujące jego pytania i odpowiedzi.

      → Wprowadza w błąd: Jeśli model widział pytania i odpowiedzi na treningu, 92% może być pamięcią, a nie umiejętnością matematyczną.

    2. W kodowaniu bije Vireo 3: 71% do 64%.

      Porównuj podobne · Czytaj szczegóły testu · Dwa wyniki obok siebie coś znaczą tylko wtedy, gdy oba modele zdawały test w ten sam sposób.

      Raport techniczny Halcyon 2 · przypis 4: Halcyon 2 miał 10 prób na zadanie, zaliczone, jeśli którakolwiek przeszła. 64% Vireo 3 to wynik z jednej próby.

      → Wprowadza w błąd: Dziesięć prób przeciwko jednej to nieuczciwy wyścig. Przy tych samych zasadach różnica mogłaby zmaleć albo zniknąć.

    3. W ślepych testach ludzie woleli jego odpowiedzi 6 razy na 10.

      Znajdź wyniki z zewnątrz · Czytaj szczegóły testu · Tezy o preferencjach łatwo sprawdzić, jeśli inni też robili porównanie. Szukaj niezależnych wyników.

      Niezależny serwis z ocenami · ślepe głosy: 4200 ślepych głosów: odpowiedź Halcyon 2 wygrała w 58% porównań.

      → Zgadza się: Ślepe, dużo głosów, prowadzone przez kogoś innego, a 58% jest blisko zapowiedzi. Ta teza się zgadza.

    4. To najbezpieczniejszy model, jaki kiedykolwiek zbudowano.

      Zdrowy rozsądek · Czytaj szczegóły testu · Ogólnikowa teza bez żadnej liczby powinna cię zatrzymać. Jaki test w ogóle mógłby udowodnić „kiedykolwiek”?

      Raport techniczny Halcyon 2 · sekcja o bezpieczeństwie: Brak nazw testów bezpieczeństwa, brak wyników, brak zewnętrznych testerów.

      → Nie do sprawdzenia: Nic nie wskazuje, że to nieprawda, ale nic tego też nie potwierdza. Bez nazwanych testów i wyników nie da się tego sprawdzić.

    5. Ma 89% w nowym zestawie pytań napisanych po zakończeniu jego treningu.

      Czytaj szczegóły testu · Szukaj przecieków · Przeczytaj, jak powstał test: kto napisał pytania, kiedy i czy są publiczne.

      Raport techniczny Halcyon 2 · sekcja o ewaluacji: Pytania napisali zatrudnieni eksperci po zebraniu danych treningowych, a zestaw pozostał niepubliczny.

      → Zgadza się: Świeże, niepubliczne pytania nie mogły przeciec do treningu. Właśnie to czyni test uczciwym.

  3. Jak czytać świadectwo

    1. Każdy nowy model ma ponad 95% w starym egzaminie. Co ci to mówi?

      • Egzamin stał się za łatwy, by odróżnić modele (Odpowiedź)
      • AI umie już perfekcyjnie wszystko, co obejmuje ten egzamin

    2. Dlaczego niektórzy twórcy testów trzymają pytania w tajemnicy?

      • Żeby pytania nie przeciekły do danych treningowych (Odpowiedź)
      • Żeby nikt nie mógł narzekać na pytania

    3. Vireo zdaje celująco trudny benchmark z programowania. Co jeszcze sprawdzić, zanim powierzysz mu swój projekt?

      • Jak radzi sobie z zadaniami takimi jak twoje, i przetestować jego kod (Odpowiedź)
      • Nic: benchmark już to udowodnił

Zapamiętaj

Wynik benchmarku jest tyle wart, co sam test: świeże pytania, te same zasady dla każdego modelu i wyniki, które inni mogą sprawdzić.

Wynik benchmarku jest tyle wart, co sam test: świeże pytania, te same zasady dla wszystkich i wyniki, które inni mogą sprawdzić.

Najważniejsze fakty

  • MMLU, popularny benchmark wiedzy, zawiera pytania wielokrotnego wyboru z 57 dziedzin, od matematyki po prawo. · Źródło: Hendrycks et al., Measuring Massive Multitask Language Understanding, ICLR 2021
  • HumanEval testuje programowanie na 164 ręcznie napisanych zadaniach, a każde sprawdza się, uruchamiając testy jednostkowe na kodzie modelu. · Źródło: Chen et al., Evaluating Large Language Models Trained on Code, OpenAI, 2021
  • GSM8K to zestaw ok. 8500 szkolnych zadań tekstowych z matematyki, używany do testowania rozumowania krok po kroku. · Źródło: Cobbe et al., Training Verifiers to Solve Math Word Problems, OpenAI, 2021
  • Autorzy pracy o GPT-3 sprawdzali, ile pytań z benchmarków przeciekło do danych treningowych. Ten problem nazywa się kontaminacją. · Źródło: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
  • Chatbot Arena układa ranking modeli na podstawie ślepych głosów internautów: ludzie porównują dwie anonimowe odpowiedzi i wybierają lepszą. · Źródło: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, 2023

Aktualizacja:

Częste pytania

Co to jest benchmark LLM?

Benchmark to stały zestaw zadań z odpowiedziami do sprawdzenia, np. pytań egzaminacyjnych, zadań z matematyki czy programowania. Uruchomienie różnych modeli na tym samym benchmarku daje porównywalne wyniki.

Co to jest kontaminacja benchmarku?

Kontaminacja oznacza, że pytania lub odpowiedzi z testu trafiły do danych treningowych modelu. Model może wtedy dostać dobry wynik dzięki pamięci, a nie rozumowaniu, więc wynik zawyża jego umiejętności.

Czy wyniki benchmarków AI są wiarygodne?

Są przydatne, ale ograniczone. Ufaj im bardziej, gdy pytania są świeże lub niepubliczne, każdy model działa na tych samych zasadach, a niezależne zespoły dostają podobne wyniki.

Jak rankingi AI układają modele?

Niektóre uśredniają wyniki z benchmarków. Inne zbierają ślepe głosy: ludzie porównują dwie anonimowe odpowiedzi na ten sam prompt i wybierają lepszą, a głosy składają się na ranking.

Powiązane pojęcia