Comment sont créés les LLM / Glossaire

Embedding (plongement)

Un embedding est une liste de nombres qui représente un mot, un token, une phrase ou une image comme un point dans un espace de sens, pour que les choses de sens proche se retrouvent côte à côte.

Un modèle ne sait pas calculer avec des mots, alors il donne à chaque token une liste de nombres. L'entraînement déplace ces points pour que les mots utilisés dans des phrases semblables, comme chat et chaton, soient proches, et que les mots sans rapport soient loin.

Les directions dans cet espace ont aussi un sens : avec des vecteurs de mots appris sur du texte, roi moins homme plus femme tombe près de reine. Dans le plus grand modèle GPT-3, chaque token devenait une liste de 12 288 nombres.

Les embeddings servent aussi hors des chatbots, par exemple dans la recherche qui trouve des documents par le sens plutôt que par les mots exacts. Comme ils sont appris sur des textes humains, ils peuvent aussi en reprendre les stéréotypes.