Jak powstają modele językowe / Słowniczek

Kwantyzacja

Kwantyzacja zmniejsza i przyspiesza model AI, zapisując każdą jego wagę mniejszą liczbą bitów, np. 4 zamiast 16, kosztem niewielkiego błędu zaokrąglenia.

Każda waga to liczba, a zapisanie jej dokładnie zajmuje miejsce. Kwantyzacja zaokrągla wagi do mniejszego zbioru wartości. Model z 7 miliardami wag potrzebuje około 14 GB przy 16 bitach na wagę i około 3,5 GB przy 4 bitach.

Zrobiona starannie, kosztuje zaskakująco mało jakości: badacze uruchamiali modele z nawet 175 miliardami parametrów na 8-bitowych wagach bez spadku wydajności. Zbyt mocne zaokrąglanie, do bardzo niewielu bitów, zaczyna jednak szkodzić.

Kwantyzacja to główny powód, dla którego zdolne modele działają dziś na laptopach i telefonach. Często łączy się ją z destylacją, która trenuje mniejszy model, by naśladował większy.