Jak powstają modele językowe / Słowniczek

Destylacja wiedzy

Destylacja wiedzy trenuje mały model-„ucznia”, by naśladował odpowiedzi dużego modelu-„nauczyciela”, więc uczeń zachowuje sporą część umiejętności nauczyciela przy ułamku jego rozmiaru.

Uczeń nie uczy się tylko najlepszej odpowiedzi nauczyciela. Uczy się całego rozkładu szans, np. „raczej kot, trochę jak pies, na pewno nie auto”, który niesie więcej informacji niż jedna dobra odpowiedź.

Pomysł spopularyzowała praca z 2015 roku. Znany przykład, DistilBERT, był o 40% mniejszy i o 60% szybszy od modelu, z którego się uczył, a zachował 97% jego rozumienia języka.

Wiele małych i szybkich modeli językowych trenuje się dziś częściowo na odpowiedziach napisanych przez większe modele. Destylację często łączy się z kwantyzacją, by zmieścić modele na telefonach i laptopach.