Jak powstają modele językowe / Słowniczek

Okno kontekstowe

Okno kontekstowe to maksymalna ilość tekstu, liczona w tokenach, jaką model językowy może przyjąć naraz, łącznie z twoimi wiadomościami, jego odpowiedziami, wklejonymi plikami i ukrytymi instrukcjami.

Wszystko, czego model używa do napisania kolejnego tokenu, musi zmieścić się w oknie. Gdy rozmowa je przerasta, najstarsze części się nie mieszczą i model nie może ich użyć. Nie pamięta też wcześniejszych czatów, chyba że aplikacja poda mu je ponownie.

Okna szybko rosły: GPT-3 czytał naraz 2048 tokenów, a Llama 3.1 obsługuje 128 000, czyli tyle, ile cała książka. Wciąż są ograniczone, częściowo dlatego, że praca uwagi rośnie z kwadratem długości tekstu.

Większe okno nie zawsze jest dobrze wykorzystane. Badacze odkryli, że modele lepiej używają informacji z początku i końca długiego kontekstu niż tej zakopanej w środku, więc to, co najważniejsze, umieszczaj tam, gdzie się wyróżnia.