Jak powstają modele językowe / Słowniczek

Transformer

Transformer to architektura sieci neuronowej stojąca za niemal wszystkimi nowoczesnymi modelami językowymi. Przetwarza wszystkie tokeny tekstu równolegle i dzięki mechanizmowi uwagi pozwala im wymieniać się informacją.

Transformer przedstawiono w 2017 roku w pracy badawczej „Attention Is All You Need”, najpierw do tłumaczenia między językami. Kluczowy pomysł: porzucić czytanie krok po kroku i pozwolić każdemu słowu spojrzeć naraz na wszystkie inne.

Transformer zamienia każdy token w embedding, a potem przepuszcza go w górę przez stos identycznych warstw. W każdej warstwie uwaga domieszuje informację z innych tokenów, a część feed-forward dopracowuje każdy token. Największy model GPT-3 ma 96 takich warstw.

Ponieważ praca dzieje się równolegle, transformery trenują się wydajnie na nowoczesnych chipach, co umożliwiło bardzo duże modele. Tej samej architektury używa się dziś też do obrazów, dźwięku i kodu.