Jak powstają modele językowe / Słowniczek

Funkcja straty

Funkcja straty to wzór, który mierzy, jak bardzo przewidywanie modelu było błędne. Trening stara się, żeby ta liczba, strata, była jak najmniejsza.

Gdy model językowy przewiduje kolejny token, daje każdemu możliwemu tokenowi prawdopodobieństwo. Strata patrzy na prawdopodobieństwo, jakie dał tokenowi, który naprawdę wystąpił: wysokie prawdopodobieństwo to niska strata, niskie to wysoka strata.

Taka strata nazywa się entropią krzyżową (cross-entropy) i to ją obniża w treningu niemal każdy model językowy. Spadek gradientu używa straty, żeby ustalić, w którą stronę przesunąć każdą wagę.

Strata to też sposób, w jaki laboratoria śledzą postępy. Prawa skalowania opisują, jak strata przewidywalnie spada, gdy model dostaje więcej parametrów, danych i mocy obliczeniowej. Niska strata to jednak nie to samo co pomocny czy prawdomówny asystent; do tego potrzeba dalszego treningu i testów.