C'est quoi, un modèle Transformer en IA ?
Un Transformer est l'architecture de réseau de neurones derrière les modèles de langage modernes. Il transforme chaque token en liste de nombres, puis les fait monter à travers une pile de couches identiques. Dans chaque couche, l'attention permet aux tokens de partager de l'information et une partie feed-forward affine chacun d'eux. En haut, il note chaque token suivant possible.
▶ À toi de jouer
Pourquoi c'est important
Presque tous les modèles de langage modernes sont des Transformers. Connaître ses deux gestes, partager entre les mots et réfléchir à chaque mot, explique comment un modèle construit le sens couche après couche.
En 6 minutes, tu sauras
- Le texte devient des tokens, et chaque token devient une liste de nombres avant d'entrer dans la pile.
- Chaque couche a deux parties : l'attention, où les mots partagent de l'information, et le feed-forward, où chaque mot est affiné.
- Empiler des dizaines de couches transforme des suppositions grossières en prédictions nettes.
Ce que tu vas pratiquer
Envoie une phrase en haut de la pile
Remets dans l'ordre le trajet de « Le ciel est très », du texte brut à la prédiction de Vireo.
- Le texte est découpé en tokens
- Chaque token devient une liste de nombres, son embedding
- Attention : chaque token récolte des indices dans les tokens précédents
- Feed-forward : les nombres de chaque token sont affinés séparément
- Ces deux parties se répètent dans chaque couche, des dizaines de fois
- En haut, les nombres du dernier token deviennent une note pour chaque token suivant possible
Jette un œil dans la tour
Les ingénieurs peuvent lire la prédiction de Vireo à mi-hauteur de la pile. Chaque manche, c'est la même phrase à une hauteur différente. Les pourcentages sont illustratifs.
Couche 2 sur 48 :
Les clés de la vieille armoire ___- est: 34 % (le plus probable)
- sont: 20 %
- en: 10 %
- était: 8 %
- autres mots: 28 %
Couche 24 sur 48 :
Les clés de la vieille armoire ___- sont: 45 % (le plus probable)
- est: 24 %
- étaient: 10 %
- était: 5 %
- autres mots: 16 %
Couche 48 sur 48 :
Les clés de la vieille armoire ___- sont: 78 % (le plus probable)
- étaient: 10 %
- est: 3 %
- était: 1 %
- autres mots: 8 %
Quelle partie fait ça ?
Chaque couche a deux parties. Trie chaque tâche.
- « il » récupère de l'information sur « chat », trois mots plus tôt → Attention : les mots partagent
- Traite un token à la fois, sans regarder les autres → Feed-forward : chaque mot seul
- Relie un verbe à son sujet plusieurs mots plus tôt → Attention : les mots partagent
- Contient une grande partie de ce que le modèle a stocké, comme les faits absorbés → Feed-forward : chaque mot seul
- Décide combien chaque mot précédent compte en ce moment → Attention : les mots partagent
Pourquoi les Transformers ont gagné ?
Les anciens modèles de langage lisaient le texte mot après mot. Qu'a changé le Transformer ?
- Il traite tous les tokens d'un texte côte à côte, donc l'entraînement exploite bien les puces (Réponse)
- Il lit encore plus lentement et soigneusement, une lettre à la fois
Vireo a 48 couches. En quoi diffèrent-elles les unes des autres ?
- Même architecture, mais chaque couche a ses propres poids appris (Réponse)
- Chaque couche est une machine complètement différente
Retiens bien
Un Transformer, c'est une même couche empilée de nombreuses fois : l'attention fait partager les mots, le feed-forward affine chaque mot, et le sommet note le token suivant.
Les tokens montent à travers des dizaines de couches identiques. Chaque couche fait circuler l'information entre les mots, puis affine chaque mot.
Les chiffres clés
- Le Transformer a été présenté en 2017, d'abord pour traduire entre langues. · Source: Vaswani et al., Attention Is All You Need, Google, 2017
- Le Transformer d'origine empilait 6 couches de chaque côté, un côté pour lire l'entrée et un pour écrire la sortie. · Source: Vaswani et al., 2017
- Le plus grand modèle GPT-3 empile 96 couches de Transformer. · Source: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- Des chercheurs ont montré que les parties feed-forward des couches de Transformer se comportent comme des mémoires clé-valeur qui stockent des motifs du texte d'entraînement. · Source: Geva et al., Transformer Feed-Forward Layers Are Key-Value Memories, 2021
Mis à jour:
Les questions qu'on se pose
Que veut dire le T de GPT ?
Transformer. GPT signifie Generative Pre-trained Transformer : un modèle qui génère du texte, est d'abord pré-entraîné sur beaucoup de texte et utilise l'architecture Transformer.
C'est quoi, une couche dans un réseau de neurones ?
Une étape de traitement. Dans un Transformer, chaque couche prend les nombres de chaque token, leur fait partager de l'information par l'attention, les affine avec une partie feed-forward et les transmet à la couche suivante.
Pourquoi les Transformers sont-ils meilleurs que les anciens modèles ?
Ils traitent tous les tokens d'un texte en parallèle pendant l'entraînement et peuvent relier des mots éloignés. Ça a rendu possible l'entraînement de modèles bien plus gros sur bien plus de texte.
Tous les grands modèles de langage sont-ils des Transformers ?
Presque tous les modèles populaires actuels le sont, ou en sont des variantes proches. Les chercheurs testent d'autres architectures, mais le Transformer est la norme depuis 2018 environ.
Termes associés