Kompetencje AI / Słowniczek

Token

Token to mała jednostka tekstu, którą model językowy czyta i pisze: całe słowo, część słowa, znak interpunkcyjny albo spacja. Model przewiduje jeden token naraz.

Zanim chatbot zacznie pracować z twoją wiadomością, dzieli tekst na tokeny. Częste krótkie słowa to często jeden token, a długie lub nietypowe słowa dzielą się na kilka kawałków. Polskie słowa z wieloma końcówkami często rozpadają się na więcej tokenów niż angielskie.

Odpowiadając, model wybiera kolejny token, dopisuje go do tekstu i przewiduje następny. To przewidywanie krok po kroku sprawia, że odpowiedź pojawia się słowo po słowie.

Tokeny tłumaczą też niektóre ograniczenia: usługi liczą zużycie w tokenach, model może naraz przyjąć tylko określoną ich liczbę, a zadania typu liczenie liter mogą się nie udać, bo model widzi kawałki, a nie pojedyncze litery.