Przejdź do treści
PL

Lekcja 5 z 6 · 6 min · +100 XP

Czym są embeddingi i skąd model wie, że słowa są podobne?

Embedding to lista liczb, która umieszcza słowo, czyli token, jako punkt w przestrzeni znaczeń. Słowa używane w podobnych zdaniach, jak kot i kotek, lądują blisko siebie, a niepowiązane stoją daleko. Kierunki też niosą znaczenie, więc król minus mężczyzna plus kobieta ląduje blisko królowej. Modele uczą się tych punktów z tekstu.

▶ Wypróbuj

Dlaczego to ważne

ID tokenu to tylko etykieta. Embedding zamienia je w położenie, więc model wie, że szczeniak jest jak pies, a zupełnie nie jak autobus. Wyszukiwarki i rekomendacje używają tej samej sztuczki.

W 6 minut nauczysz się

  • Gdy wyszukiwarka znajduje to, o co ci chodziło, a nie to, co wpisałeś/-aś, zwykle działają embeddingi.
  • Słowa podobne z wyglądu, jak kot i kotlet, mogą stać daleko: znaczenie bierze się z użycia, nie z pisowni.
  • Embeddingi uczą się z ludzkiego tekstu, więc pytaj, jak narzędzie sprawdza je pod kątem stereotypów.

Co przećwiczysz

  1. Blisko czy daleko?

    Czy na mapie znaczeń Vireo te pary stoją blisko siebie, czy daleko?

    • kot · kotek → Blisko siebie
    • auto · banan → Daleko
    • lekarz · pielęgniarka → Blisko siebie
    • gorący · zimny → Blisko siebie
    • pianino · wino → Daleko
    • Paryż · Rzym → Blisko siebie

  2. Mapa znaczeń

    Przeciągnij każde słowo tam, gdzie twoim zdaniem pasuje. Potem spróbuj liczyć na słowach. Mapa to uproszczony obraz 2D; prawdziwe embeddingi mają tysiące kierunków.

    • szczeniak → pies, kot. Szczeniak to młody pies i pojawia się w tych samych zdaniach, więc ląduje przy zwierzętach.
    • hot dog → chleb, ser. Położenie wynika ze znaczenia, nie z pisowni. „Dog” to po angielsku pies, ale hot dog to jedzenie, więc ląduje przy chlebie, daleko od psa.
    • rower → auto, pociąg. Rowery pojawiają się w zdaniach o drogach, jeździe i ruchu, więc stoją blisko innych pojazdów.
    • radosny → szczęśliwy, smutny. „Radosny” jest używany prawie dokładnie jak „szczęśliwy”, więc to sąsiedzi przez ścianę.
    • król − mężczyzna + kobieta ≈ królowa (mężczyzna → król). Strzałka od mężczyzny do króla to kierunek, który znaczy mniej więcej „królewski”. Ten sam krok od kobiety ląduje blisko królowej.
    • Paryż − Francja + Włochy ≈ Rzym (kraj → stolica). Krok od kraju do jego stolicy wskazuje ten sam kierunek dla wielu krajów. Od Włoch ląduje na Rzymie, nie na Mediolanie.

  3. Gdzie spotykasz embeddingi

    1. Szukasz w pomocy sklepu „oddanie pieniędzy” i znajdujesz stronę „Zwroty”. Jak?

      • Ich embeddingi są blisko, choć słowa są inne (Odpowiedź)
      • Ktoś ręcznie wpisał każdy możliwy synonim

    2. Embeddingi wyuczone ze starych tekstów łączą niektóre zawody bardziej z mężczyznami niż z kobietami. Co z tego wynika?

      • Zespoły muszą sprawdzać stronniczość i ją korygować (Odpowiedź)
      • Nic, matematyka nie może być stronnicza

Zapamiętaj

Embedding daje każdemu tokenowi adres w przestrzeni znaczeń. Blisko znaczy podobnie, a kierunki to relacje.

Każdy token staje się punktem w przestrzeni znaczeń. Bliskie punkty to podobne użycie, a kierunki to relacje.

Najważniejsze fakty

  • Myśl, że znaczenie słowa bierze się ze słów wokół niego, ujęto w 1957 roku zdaniem: „Poznasz słowo po towarzystwie, w jakim przebywa”. · Źródło: J. R. Firth, A Synopsis of Linguistic Theory, 1957
  • Wektory słów wyuczone z tekstu pokazały, że prosta arytmetyka oddaje relacje: król − mężczyzna + kobieta ląduje blisko królowej. · Źródło: Mikolov et al., Google, Linguistic Regularities in Continuous Space Word Representations, NAACL 2013
  • W największym modelu GPT-3 każdy token zamieniał się w listę 12 288 liczb. · Źródło: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
  • Wykazano, że embeddingi słów wytrenowane na tekstach prasowych niosą stereotypy płciowe dotyczące zawodów, a badacze zaproponowali sposoby ich zmniejszania. · Źródło: Bolukbasi et al., Man is to Computer Programmer as Woman is to Homemaker?, NeurIPS 2016

Aktualizacja:

Częste pytania

Czym jest embedding w prostych słowach?

To lista liczb, która działa jak adres słowa albo kawałka tekstu. Rzeczy o podobnym znaczeniu dostają bliskie adresy, więc komputer może zmierzyć, jak bardzo są do siebie podobne.

Ile wymiarów ma embedding?

Dużo więcej niż dwa na rysunku. Duże modele językowe używają od setek do wielu tysięcy liczb na token. Mapa 2D to tylko uproszczony obraz.

Do czego używa się embeddingów?

W modelu językowym to pierwszy krok czytania. Poza nim napędzają wyszukiwanie po znaczeniu, rekomendacje, grupowanie podobnych dokumentów i wyszukiwanie duplikatów.

Czy król minus mężczyzna plus kobieta naprawdę daje królową?

Mniej więcej. W klasycznych embeddingach słów wynik ląduje bliżej królowej niż większości innych słów. To słynny pokaz, że kierunki w przestrzeni niosą znaczenie, choć nie działa dla każdego przykładu.

Powiązane pojęcia