Wie LLMs entstehen / Glossar

Embedding

Ein Embedding ist eine Liste von Zahlen, die ein Wort, ein Token, einen Satz oder ein Bild als Punkt in einem Bedeutungsraum darstellt, sodass Dinge mit ähnlicher Bedeutung nah beieinander landen.

Ein Modell kann nicht mit Wörtern rechnen, also gibt es jedem Token eine Liste von Zahlen. Das Training verschiebt diese Punkte so, dass Wörter aus ähnlichen Sätzen, etwa Katze und Kätzchen, nah beieinander liegen und Wörter ohne Bezug weit auseinander.

Auch Richtungen in diesem Raum tragen Bedeutung: Bei aus Text gelernten Wortvektoren landet König minus Mann plus Frau nah bei Königin. Im größten GPT-3-Modell wurde jedes Token zu einer Liste aus 12.288 Zahlen.

Embeddings werden auch außerhalb von Chatbots genutzt, zum Beispiel für eine Suche, die Dokumente nach Bedeutung statt nach genauen Wörtern findet. Weil sie aus menschlichem Text gelernt sind, können sie auch Stereotype aus diesem Text übernehmen.