Jak powstają modele językowe / Słowniczek

Benchmark AI

Benchmark AI to stały zestaw zadań ze sprawdzalnymi odpowiedziami, np. pytań egzaminacyjnych, zadań z matematyki czy programowania, służący do mierzenia i porównywania modeli.

Znane benchmarki to m.in. MMLU, z pytaniami wielokrotnego wyboru z 57 dziedzin, HumanEval, ze 164 zadaniami programistycznymi sprawdzanymi przez uruchomienie testów, i GSM8K, zbiór około 8500 zadań tekstowych z matematyki na poziomie szkoły podstawowej.

Wynik coś znaczy tylko w uczciwych warunkach. Jeśli pytania z benchmarku wyciekły do danych treningowych, co nazywa się kontaminacją, model może po prostu pamiętać odpowiedzi. Każdy model trzeba też testować z tymi samymi promptami i zasadami.

Benchmarki się zużywają: gdy czołowe modele zbliżają się do maksimum, test przestaje je rozróżniać, więc pojawiają się nowe i trudniejsze. Laboratoria dodają ślepe porównania przez ludzi i testy bezpieczeństwa, bo wysoki wynik nie dowodzi, że model jest przydatny ani bezpieczny.