Jak powstają modele językowe / Słowniczek

Mechanizm uwagi (attention)

Mechanizm uwagi to część transformera, która pozwala każdemu tokenowi ocenić, jak bardzo liczy się dla niego każdy inny token, a potem wchłonąć mieszankę ich informacji według tych wag.

Dla każdego tokenu uwaga ocenia, jak istotny jest każdy inny token, zamienia oceny na wagi sumujące się do 100% i wmieszuje ich informację. Tak „on” w zdaniu znajduje rzeczownik, do którego się odnosi, a „zamek” rozpoznaje, czy chodzi o budowlę, czy o zamek błyskawiczny.

Model uruchamia obok siebie kilka głów uwagi i każda może nauczyć się innego rodzaju powiązań, np. zaimków z rzeczownikami albo czasowników z dopełnieniami. Oryginalny transformer miał 8 głów na warstwę, GPT-3 ma 96.

Uwaga porównuje każdy token z każdym innym, więc jej praca rośnie z kwadratem długości tekstu. To jeden z głównych powodów, dla których okno kontekstowe modelu ma limit.