C'est quoi, un embedding, et comment un modèle sait-il que des mots se ressemblent ?
Un embedding est une liste de nombres qui place un mot, ou un token, comme un point dans un espace de sens. Les mots employés dans des phrases semblables, comme chat et chaton, sont proches ; les mots sans rapport sont éloignés. Les directions ont aussi un sens : roi moins homme plus femme tombe près de reine. Les modèles apprennent ces points sur du texte.
▶ À toi de jouer
Pourquoi c'est important
Un numéro de token n'est qu'une étiquette. L'embedding le transforme en position, pour que le modèle sache que chiot ressemble à chien et pas du tout à bus. La recherche et les recommandations utilisent la même astuce.
En 6 minutes, tu sauras
- Quand une recherche trouve ce que tu voulais dire plutôt que ce que tu as tapé, ce sont en général des embeddings qui travaillent.
- Des mots qui se ressemblent, comme chat et langue de chat, peuvent être très éloignés : le sens vient de l'usage, pas de l'orthographe.
- Comme les embeddings apprennent sur des textes humains, demande comment un outil vérifie leurs stéréotypes.
Ce que tu vas pratiquer
Proches ou éloignés ?
Sur la carte du sens de Vireo, ces paires sont-elles proches ou éloignées ?
- chat · chaton → Proches
- voiture · banane → Éloignés
- médecin · infirmière → Proches
- chaud · froid → Proches
- bateau · gâteau → Éloignés
- Paris · Rome → Proches
La carte du sens
Fais glisser chaque mot sur la carte, là où il a sa place selon toi. Puis essaie les calculs de mots. La carte est une image simplifiée en 2D ; les vrais embeddings ont des milliers de directions.
- chiot → chien, chat. Un chiot est un jeune chien et apparaît dans les mêmes phrases, donc il se pose avec les animaux.
- langue de chat → pain, fromage. La position suit le sens, pas l'orthographe. Une langue de chat est un biscuit, donc elle se pose près du pain, loin de chat.
- vélo → voiture, train. Le vélo apparaît dans des phrases sur la route, les trajets et la circulation, donc il se place près des autres véhicules.
- joyeux → heureux, triste. Joyeux s'emploie presque exactement comme heureux, donc les deux sont voisins de palier.
- roi − homme + femme ≈ reine (homme → roi). La flèche de homme à roi est une direction qui veut dire à peu près « royal ». Le même pas depuis femme tombe près de reine.
- Paris − France + Italie ≈ Rome (pays → capitale). Le pas d'un pays vers sa capitale pointe dans le même sens pour beaucoup de pays. Depuis l'Italie, il tombe sur Rome, pas sur Milan.
Où tu croises des embeddings
Sur un site d'aide, tu cherches « récupérer mon argent » et il trouve la page « Remboursements ». Comment ?
- Leurs embeddings sont proches, même si les mots diffèrent (Réponse)
- Quelqu'un a tapé chaque synonyme possible à la main
Des embeddings appris sur de vieux textes associent certains métiers plus aux hommes qu'aux femmes. Qu'en conclure ?
- Les équipes doivent tester les biais et les corriger (Réponse)
- Rien, les maths ne peuvent pas être biaisées
Retiens bien
Un embedding donne à chaque token une adresse dans un espace de sens. Proche veut dire semblable, et les directions sont des relations.
Chaque token devient un point dans un espace de sens. Des points proches, c'est un usage proche ; les directions, ce sont des relations.
Les chiffres clés
- L'idée que le sens d'un mot vient des mots qui l'entourent a été résumée en 1957 : « On reconnaît un mot à ses fréquentations » (“You shall know a word by the company it keeps”). · Source: J. R. Firth, A Synopsis of Linguistic Theory, 1957
- Des vecteurs de mots appris sur du texte ont montré qu'une simple arithmétique capture des relations : roi − homme + femme tombe près de reine. · Source: Mikolov et al., Google, Linguistic Regularities in Continuous Space Word Representations, NAACL 2013
- Dans le plus grand modèle GPT-3, chaque token devenait une liste de 12 288 nombres. · Source: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
- Des embeddings de mots entraînés sur des articles de presse se sont révélés porteurs de stéréotypes de genre sur les métiers, et des chercheurs ont proposé des moyens de les réduire. · Source: Bolukbasi et al., Man is to Computer Programmer as Woman is to Homemaker?, NeurIPS 2016
Mis à jour:
Les questions qu'on se pose
C'est quoi, un embedding, en termes simples ?
C'est une liste de nombres qui sert d'adresse à un mot ou à un bout de texte. Les choses de sens proche reçoivent des adresses voisines, ce qui permet à un ordinateur de mesurer à quel point elles se ressemblent.
Combien de dimensions a un embedding ?
Bien plus que les deux d'un dessin. Les grands modèles de langage utilisent de quelques centaines à plusieurs milliers de nombres par token. La carte en 2D n'est qu'une image simplifiée.
À quoi servent les embeddings ?
Dans un modèle de langage, ils sont la première étape de la lecture. Ailleurs, ils font tourner la recherche par le sens, les recommandations, le regroupement de documents semblables et la détection de doublons.
Roi moins homme plus femme, ça donne vraiment reine ?
À peu près. Dans les embeddings de mots classiques, le résultat tombe plus près de reine que de la plupart des autres mots. C'est une démonstration célèbre que les directions de l'espace ont un sens, même si ça ne marche pas pour tous les exemples.
Termes associés