Comment sont créés les LLM / Glossaire

Transformer

Le Transformer est l'architecture de réseau de neurones derrière presque tous les modèles de langage modernes. Il traite tous les tokens d'un texte en parallèle et utilise l'attention pour leur permettre de partager de l'information.

Le Transformer a été présenté en 2017 dans un article de recherche intitulé « Attention Is All You Need », d'abord pour traduire entre langues. Son idée clé : abandonner la lecture mot à mot et laisser chaque mot regarder tous les autres en même temps.

Un Transformer transforme chaque token en embedding, puis le fait monter à travers une pile de couches identiques. Dans chaque couche, l'attention mélange l'information des autres tokens et une partie feed-forward affine chaque token. Le plus grand modèle GPT-3 empile 96 de ces couches.

Comme le travail se fait en parallèle, les Transformers s'entraînent efficacement sur les puces modernes, ce qui a rendu possibles de très grands modèles. La même architecture sert aujourd'hui aussi pour les images, l'audio et le code.