Czym jest mechanizm uwagi w transformerze?
Mechanizm uwagi (attention) to część transformera, która pozwala każdemu tokenowi zdecydować, które wcześniejsze tokeny się dla niego liczą. Ocenia każdy wcześniejszy token, zamienia oceny na wagi sumujące się do 100% i wchłania ważoną mieszankę ich informacji. Tak „on” znajduje „kota”, a „zamek” wie, że chodzi o zamek w kurtce.
▶ Wypróbuj
Dlaczego to ważne
Samo słowo bywa niejednoznaczne. Uwaga to sposób, w jaki model językowy ustala, do czego odnosi się „on”, „zamek” czy „za duża”: każde słowo pożycza znaczenie od słów przed nim.
W 6 minut nauczysz się
- Uwaga pozwala każdemu słowu spojrzeć wstecz i pożyczyć znaczenie od słów, które się dla niego liczą.
- Wagi zawsze sumują się do 100%, więc więcej uwagi na jedno słowo to mniej na pozostałe.
- Zmień jedno słowo, a uwaga się przesunie, dlatego kontekst zmienia to, co model rozumie.
Co przećwiczysz
Zostań głową uwagi
Dotykaj wcześniejszych słów, by wlewać w nie uwagę. Wydaj wszystkie 10 kropli, potem porównaj z wytrenowaną głową. Wagi są przykładowe.
Ten kot usiadł, bo on
Kim jest „on”?
Wytrenowana głowa: kot 64% · usiadł, 18% · bo 12%
Rozumiane jako: on = ten kot „On” musi znaleźć to, za co stoi. Wytrenowana głowa kładzie większość wagi na „kot”, jedynym kandydacie, który może usiąść.
Na kurtce zepsuł mi się zamek
Który „zamek”: budowla czy w ubraniu?
Wytrenowana głowa: kurtce 62% · zepsuł 24% · mi 6%
Rozumiane jako: zamek = zamek błyskawiczny Sam „zamek” może być budowlą. Oparcie się na „kurtce”, z małą pomocą „zepsuł”, przesuwa jego znaczenie na zamek w ubraniu.
Walizka nie zmieści się w szafie . Za duża
Co jest za duże?
Wytrenowana głowa: Walizka 56% · zmieści 14% · szafie 13%
Rozumiane jako: za duża = walizka Coś za dużego nie wejdzie do środka. Żeby zrozumieć „duża”, głowa patrzy wstecz na walizkę, czyli rzecz, która ma się zmieścić.
Walizka nie zmieści się w szafie . Za mała
A teraz: co jest za małe?
Wytrenowana głowa: szafie 54% · zmieści 14% · Walizka 13%
Rozumiane jako: za mała = szafa Jedno słowo odwróciło znaczenie, a wagi odwróciły się razem z nim. Uwaga jest liczona od nowa dla każdego tekstu, to nie stała tabela.
W środku jednej głowy uwagi
Dotknij każdej karty. Każdy token niesie trzy małe listy liczb.
- 🔦 Zapytanie (query): czego szukam?
- Token, który patrzy, wysyła zapytanie, np. „jestem zaimkiem, potrzebuję rzeczownika, który może być zmęczony”.
- 🏷️ Klucz (key): co oferuję?
- Każdy wcześniejszy token pokazuje klucz, etykietę tego, czym jest. Im lepiej klucz pasuje do zapytania, tym wyższa ocena.
- 📦 Wartość (value): co przekazuję?
- Oceny stają się wagami, które sumują się do 100%. Zapytanie wchłania ważoną mieszankę wartości wcześniejszych tokenów: głównie „kot”, trochę reszty.
- 🧠 Po co wiele głów?
- Każda warstwa uruchamia wiele głów obok siebie. Jedna może łączyć zaimki z rzeczownikami, inna śledzić słowo tuż przed, jeszcze inna parować nawiasy.
Czego może szukać głowa?
Badacze zaglądają do wytrenowanych modeli. Które z tych wzorców może wyłapać głowa uwagi? Zaznacz wszystkie pasujące.
- Do którego rzeczownika odnosi się zaimek „ona”
- Słowo tuż przed bieżącym
- Nawias otwierający, który zamyka „)”
- Podmiot, do którego należy czasownik
- Słowa, które padną później w odpowiedzi
- Czy zdanie jest prawdziwe w realnym świecie
Zapamiętaj
Każdy token rozkłada 100% uwagi na wcześniejsze tokeny i wchłania mieszankę ich znaczeń. Kontekst zmienia tę mieszankę.
Każde słowo rozkłada 100% swojej uwagi na wcześniejsze słowa i wchłania mieszankę ich znaczeń.
Najważniejsze fakty
- Transformer, architektura dzisiejszych dużych modeli językowych, został przedstawiony w pracy z 2017 roku pod tytułem „Attention Is All You Need”. · Źródło: Vaswani et al., Google, 2017
- Oryginalny transformer uruchamiał w każdej warstwie 8 głów uwagi obok siebie. · Źródło: Vaswani et al., Attention Is All You Need, 2017
- GPT-3 ma 96 warstw, a w każdej 96 głów uwagi. · Źródło: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- Gdy badacze zajrzeli do wytrenowanego modelu językowego, znaleźli pojedyncze głowy, które łączą zaimki z rzeczownikami i czasowniki z dopełnieniami, choć nikt nie uczył ich gramatyki. · Źródło: Clark et al., What Does BERT Look At?, 2019
Aktualizacja:
Częste pytania
Czym jest self-attention w prostych słowach?
Self-attention, czyli samouwaga, pozwala każdemu słowu w tekście spojrzeć na inne słowa tego samego tekstu i zdecydować, jak bardzo każde się dla niego liczy. Potem słowo wchłania ważoną mieszankę ich znaczeń.
Czym są query, key i value?
To trzy małe listy liczb, które niesie każdy token. Zapytanie (query) mówi, czego token szuka, klucz (key), co oferuje, a wartość (value) to to, co przekazuje, gdy zostanie wybrany.
Czym jest multi-head attention?
To kilka głów uwagi działających równolegle w tej samej warstwie. Każda głowa uczy się szukać innego rodzaju relacji, a ich wyniki się łączy.
Czy uwaga może patrzeć na przyszłe słowa?
Nie w modelu, który pisze tekst od lewej do prawej. Każdy token może patrzeć tylko na siebie i wcześniejsze tokeny, bo późniejszych jeszcze nie napisano.
Powiązane pojęcia