Jak powstają modele językowe / Słowniczek

Tokenizer

Tokenizer to narzędzie, które tnie tekst na tokeny, czyli kawałki czytane przez model językowy, i zamienia każdy kawałek w liczbę. Zamienia też liczby z wyjścia modelu z powrotem w tekst.

Tokenizer ma stały słownik kawałków. Częste słowa zostają w całości, a rzadkie słowa, nazwy i długie liczby dzielą się na kilka mniejszych kawałków. Każdy kawałek ma numer ID i model widzi wyłącznie te numery.

Większość tokenizerów LLM powstaje metodą byte pair encoding (BPE): zaczyna się od pojedynczych znaków i raz po raz scala pary, które występują najczęściej. Tokenizer GPT-2 miał 50 257 tokenów, a tokenizer Llamy 3 ma ich około 128 000.

Tokenizer tłumaczy niektóre dziwactwa. Modele mają kłopot z liczeniem liter, bo widzą kawałki, a nie litery, a to samo zdanie w niektórych językach, także po polsku, potrzebuje dużo więcej tokenów niż po angielsku, więc jego przetwarzanie jest wolniejsze i droższe.