C'est quoi, l'attention dans un Transformer ?
L'attention est la partie d'un Transformer qui permet à chaque token de décider quels tokens précédents comptent pour lui. Elle note chacun, transforme ces notes en poids qui totalisent 100 % et absorbe un mélange pondéré de leur information. C'est ainsi que « il » retrouve « le chat », et que « avocat » sait s'il désigne un fruit ou un métier.
▶ À toi de jouer
Pourquoi c'est important
Un mot seul est souvent ambigu. L'attention permet à un modèle de langage de comprendre à quoi renvoient « il », « avocat » ou « trop grand », en laissant chaque mot emprunter du sens aux mots qui le précèdent.
En 6 minutes, tu sauras
- L'attention permet à chaque mot de regarder en arrière et d'emprunter du sens aux mots qui comptent pour lui.
- Les poids font toujours 100 % au total : plus d'attention sur un mot, c'est moins sur les autres.
- Change un mot et l'attention se déplace : c'est pourquoi le contexte change ce qu'un modèle comprend.
Ce que tu vas pratiquer
Joue la tête d'attention
Touche les mots précédents pour y verser de l'attention. Dépense les 10 gouttes, puis compare avec une tête entraînée. Les poids sont illustratifs.
Le chat dort car il
Qui est « il » ?
Tête entraînée: chat 64% · dort 18% · car 12%
Se lit comme: il = le chat « Il » doit retrouver ce qu'il désigne. La tête entraînée met l'essentiel de son poids sur « chat », le seul candidat qui puisse dormir.
Au marché j'ai acheté un avocat
Quel « avocat » : fruit ou métier ?
Tête entraînée: marché 62% · acheté 25% · un 6%
Se lit comme: avocat = le fruit Seul, « avocat » pourrait être quelqu'un qui plaide. En s'appuyant sur « marché », avec un peu d'aide de « acheté », son sens part vers l'étal de fruits.
Le trophée ne rentre pas dans le sac . Trop grand
Qu'est-ce qui est trop grand ?
Tête entraînée: trophée 56% · rentre 12% · sac 12%
Se lit comme: trop grand = le trophée Ce qui est trop grand ne peut pas entrer. Pour donner un sens à « grand », la tête regarde le trophée, la chose qui doit rentrer.
Le trophée ne rentre pas dans le sac . Trop petit
Et maintenant : qu'est-ce qui est trop petit ?
Tête entraînée: sac 54% · trophée 13% · rentre 12%
Se lit comme: trop petit = le sac Un seul mot a inversé le sens, et les poids se sont inversés avec lui. L'attention est recalculée pour chaque texte, ce n'est pas une table fixe.
Dans une tête d'attention
Touche chaque carte. Chaque token porte trois petites listes de nombres.
- 🔦 Requête : qu'est-ce que je cherche ?
- Le token qui regarde envoie une requête (query), du genre « je suis un pronom, il me faut un nom qui peut dormir ».
- 🏷️ Clé : qu'est-ce que j'offre ?
- Chaque token précédent brandit une clé (key), une étiquette de ce qu'il est. Plus une clé correspond à la requête, plus sa note est haute.
- 📦 Valeur : qu'est-ce que je transmets ?
- Les notes deviennent des poids dont la somme fait 100 %. La requête absorbe alors un mélange pondéré des valeurs (values) des tokens précédents : surtout « chat », un peu du reste.
- 🧠 Pourquoi plusieurs têtes ?
- Chaque couche fait tourner de nombreuses têtes côte à côte. L'une relie peut-être les pronoms aux noms, une autre suit le mot juste avant, une autre associe les parenthèses.
Que peut chercher une tête ?
Des chercheurs regardent à l'intérieur de modèles entraînés. Lesquels de ces motifs une tête d'attention peut-elle repérer ? Choisis toutes les bonnes réponses.
- Le nom auquel renvoie un pronom comme « elle »
- Le mot juste avant le mot actuel
- La parenthèse ouvrante que ferme un « ) »
- Le sujet auquel appartient un verbe
- Des mots qui viendront plus tard dans la réponse
- Si la phrase est vraie dans le monde réel
Retiens bien
Chaque token répartit 100 % de son attention sur les tokens précédents et absorbe un mélange de leur sens. Le contexte change le mélange.
Chaque mot répartit 100 % de son attention sur les mots précédents et absorbe un mélange de leur sens.
Les chiffres clés
- Le Transformer, l'architecture derrière les grands modèles de langage actuels, a été présenté en 2017 dans un article intitulé « Attention Is All You Need ». · Source: Vaswani et al., Google, 2017
- Le Transformer d'origine faisait tourner 8 têtes d'attention côte à côte dans chaque couche. · Source: Vaswani et al., Attention Is All You Need, 2017
- GPT-3 compte 96 couches avec 96 têtes d'attention chacune. · Source: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- En inspectant un modèle de langage entraîné, des chercheurs ont trouvé des têtes qui relient les pronoms aux noms qu'ils désignent et les verbes à leurs compléments, sans qu'on leur ait jamais appris la grammaire. · Source: Clark et al., What Does BERT Look At?, 2019
Mis à jour:
Les questions qu'on se pose
C'est quoi, l'auto-attention, en termes simples ?
L'auto-attention (self-attention) permet à chaque mot d'un texte de regarder les autres mots du même texte et de décider combien chacun compte pour lui. Le mot absorbe ensuite un mélange pondéré de leur sens.
Que sont la requête, la clé et la valeur ?
Trois petites listes de nombres que porte chaque token. La requête (query) dit ce qu'un token cherche, la clé (key) ce qu'il offre, et la valeur (value) ce qu'il transmet une fois choisi.
C'est quoi, l'attention multi-têtes ?
Faire tourner plusieurs têtes d'attention en parallèle dans la même couche. Chaque tête apprend à chercher un type de relation différent, et leurs résultats sont combinés.
L'attention peut-elle regarder les mots à venir ?
Pas dans un modèle qui écrit de gauche à droite. Chaque token ne peut regarder que lui-même et les tokens précédents, parce que les suivants ne sont pas encore écrits.
Termes associés