Jak powstają modele językowe / Słowniczek

Parametry (wagi modelu)

Parametry, nazywane też wagami, to regulowane liczby wewnątrz modelu AI. Trening je dostraja, żeby przewidywania modelu były coraz lepsze, a razem przechowują wszystko, czego model się nauczył.

Model językowy to ogromne obliczenie. Tekst wchodzi jako liczby, jest mnożony i dodawany z parametrami modelu, a na wyjściu pojawia się przewidywanie. Przed treningiem parametry są losowe; trening przesuwa każdy z nich, aż przewidywania będą dobre.

Wielkość modelu podaje się zwykle w parametrach. GPT-3 miał ich 175 miliardów, a wiele modeli, które uruchomisz na laptopie, ma kilka miliardów. Więcej parametrów pomieści więcej wzorców, ale potrzebuje też więcej pamięci, mocy obliczeniowej i danych treningowych.

Parametry zajmują realne miejsce: przy 16 bitach na każdy model z 7 miliardami wag potrzebuje około 14 GB, żeby się w ogóle wczytać. Dlatego sztuczki takie jak kwantyzacja, która zapisuje każdą wagę mniejszą liczbą bitów, są ważne dla modeli na telefonach i laptopach.