Zum Inhalt springen
DE

Lektion 5 von 6 · 6 Min. · +100 XP

Was sind Embeddings, und woher weiß ein Modell, dass Wörter ähnlich sind?

Ein Embedding ist eine Liste von Zahlen, die ein Wort oder Token als Punkt in einem Bedeutungsraum festlegt. Wörter aus ähnlichen Sätzen, etwa Katze und Kätzchen, landen nah beieinander, Wörter ohne Bezug weit auseinander. Auch Richtungen tragen Bedeutung: König minus Mann plus Frau landet nah bei Königin. Modelle lernen diese Punkte aus Text.

▶ Probier es aus

Warum das wichtig ist

Eine Token-ID ist nur ein Etikett. Das Embedding macht daraus eine Position, damit das Modell erkennt, dass ein Welpe einem Hund ähnelt und nichts mit einem Bus zu tun hat. Suche und Empfehlungen nutzen denselben Trick.

In 6 Minuten kannst du

  • Findet eine Suche, was du gemeint hast, statt was du getippt hast, stecken meist Embeddings dahinter.
  • Ähnliche Schreibweise heißt nicht ähnliche Bedeutung: Ein Hotdog liegt weit weg vom Hund. Bedeutung kommt vom Gebrauch.
  • Weil Embeddings aus menschlichem Text lernen, frag nach, wie ein Tool sie auf Stereotype prüft.

Das übst du

  1. Nah oder fern?

    Liegen diese Paare auf Vireos Bedeutungskarte nah beieinander oder weit auseinander?

    • Katze · Kätzchen → Nah beieinander
    • Auto · Banane → Weit auseinander
    • Ärztin · Pfleger → Nah beieinander
    • heiß · kalt → Nah beieinander
    • Nudel · Pudel → Weit auseinander
    • Paris · Rom → Nah beieinander

  2. Die Bedeutungskarte

    Zieh jedes Wort dorthin auf der Karte, wo es deiner Meinung nach hingehört. Dann probier Wort-Mathe. Die Karte ist ein vereinfachtes 2D-Bild; echte Embeddings haben Tausende Richtungen.

    • Welpe → Hund, Katze. Ein Welpe ist ein junger Hund und taucht in denselben Sätzen auf, also landet er bei den Tieren.
    • Hotdog → Brot, Käse. Die Position folgt der Bedeutung, nicht der Schreibweise. Ein Hotdog ist Essen, also landet er beim Brot, weit weg vom Hund, obwohl „dog“ drinsteckt.
    • Fahrrad → Auto, Zug. Fahrräder kommen in Sätzen über Straßen, Fahren und Verkehr vor, darum liegen sie bei den anderen Fahrzeugen.
    • fröhlich → glücklich, traurig. „Fröhlich“ wird fast genauso gebraucht wie „glücklich“, also sind die beiden direkte Nachbarn.
    • König − Mann + Frau ≈ Königin (Mann → König). Der Pfeil von Mann zu König ist eine Richtung, die ungefähr „königlich“ bedeutet. Derselbe Schritt von Frau aus landet nah bei Königin.
    • Paris − Frankreich + Italien ≈ Rom (Land → Hauptstadt). Der Schritt von einem Land zu seiner Hauptstadt zeigt bei vielen Ländern in dieselbe Richtung. Von Italien aus landet er bei Rom, nicht bei Mailand.

  3. Wo dir Embeddings begegnen

    1. Du suchst auf einer Hilfeseite nach „Geld zurück“ und findest die Seite „Erstattungen“. Wie das?

      • Ihre Embeddings liegen nah beieinander, obwohl die Wörter verschieden sind (Antwort)
      • Jemand hat jedes mögliche Synonym von Hand eingetippt

    2. Embeddings aus alten Texten verbinden manche Berufe stärker mit Männern als mit Frauen. Was folgt daraus?

      • Teams müssen auf Bias testen und ihn korrigieren (Antwort)
      • Nichts, Mathe kann nicht voreingenommen sein

Merk dir

Ein Embedding gibt jedem Token eine Adresse in einem Bedeutungsraum. Nah heißt ähnlich, Richtungen heißen Beziehungen.

Jedes Token wird zu einem Punkt in einem Bedeutungsraum. Nahe Punkte heißen ähnlicher Gebrauch, Richtungen heißen Beziehungen.

Die wichtigsten Fakten

  • Die Idee, dass die Bedeutung eines Worts aus den Wörtern um es herum kommt, wurde 1957 so zusammengefasst: „You shall know a word by the company it keeps.“ (Ein Wort erkennst du an seiner Gesellschaft.) · Quelle: J. R. Firth, A Synopsis of Linguistic Theory, 1957
  • Aus Text gelernte Wortvektoren zeigten, dass einfache Rechnungen Beziehungen erfassen: König − Mann + Frau landet nah bei Königin. · Quelle: Mikolov et al., Google, Linguistic Regularities in Continuous Space Word Representations, NAACL 2013
  • Im größten GPT-3-Modell wurde jedes Token zu einer Liste aus 12.288 Zahlen. · Quelle: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
  • Wort-Embeddings, die mit Nachrichtentexten trainiert wurden, trugen nachweislich Geschlechterstereotype über Berufe in sich, und Forschende schlugen Wege vor, sie zu verringern. · Quelle: Bolukbasi et al., Man is to Computer Programmer as Woman is to Homemaker?, NeurIPS 2016

Aktualisiert:

Häufige Fragen

Was ist ein Embedding, einfach erklärt?

Eine Zahlenliste, die wie eine Adresse für ein Wort oder ein Textstück funktioniert. Dinge mit ähnlicher Bedeutung bekommen nahe Adressen, so kann ein Computer messen, wie ähnlich sie sind.

Wie viele Dimensionen hat ein Embedding?

Weit mehr als die zwei einer Zeichnung. Große Sprachmodelle nutzen Hunderte bis viele Tausend Zahlen pro Token. Die 2D-Karte ist nur ein vereinfachtes Bild.

Wofür werden Embeddings genutzt?

In einem Sprachmodell sind sie der erste Schritt beim Lesen. Außerhalb treiben sie die Suche nach Bedeutung an, Empfehlungen, das Gruppieren ähnlicher Dokumente und das Finden von Duplikaten.

Ergibt König minus Mann plus Frau wirklich Königin?

Ungefähr. In klassischen Wort-Embeddings landet das Ergebnis näher bei Königin als bei den meisten anderen Wörtern. Es ist eine berühmte Demonstration, dass Richtungen im Raum Bedeutung tragen, klappt aber nicht bei jedem Beispiel.

Verwandte Begriffe