Jak powstają modele językowe / Słowniczek

Embedding (osadzenie)

Embedding to lista liczb, która przedstawia słowo, token, zdanie albo obraz jako punkt w przestrzeni znaczeń, tak że rzeczy o podobnym znaczeniu lądują blisko siebie.

Model nie umie liczyć na słowach, więc każdemu tokenowi daje listę liczb. Trening przesuwa te punkty tak, by słowa używane w podobnych zdaniach, jak kot i kotek, stały blisko siebie, a niepowiązane daleko.

Kierunki w tej przestrzeni też niosą znaczenie: w wektorach słów wyuczonych z tekstu król minus mężczyzna plus kobieta ląduje blisko królowej. W największym modelu GPT-3 każdy token zamieniał się w listę 12 288 liczb.

Embeddingów używa się też poza chatbotami, np. w wyszukiwaniu, które znajduje dokumenty po znaczeniu, a nie po dokładnych słowach. Ponieważ uczą się z ludzkiego tekstu, mogą przejąć z niego także stereotypy.