Comment sont créés les LLM / Glossaire

Mécanisme d'attention

Le mécanisme d'attention est la partie d'un Transformer qui permet à chaque token de peser l'importance de chaque autre token pour lui, puis d'absorber un mélange de leur information selon ces poids.

Pour chaque token, l'attention note la pertinence de chaque autre token, transforme ces notes en poids dont la somme fait 100 % et mélange leur information. C'est ainsi que « il » dans une phrase retrouve le nom qu'il désigne, et que « avocat » apprend s'il s'agit d'un fruit ou d'un métier.

Un modèle fait tourner plusieurs têtes d'attention côte à côte, et chacune peut apprendre un type de lien différent, comme des pronoms vers des noms ou des verbes vers leur complément. Le Transformer d'origine utilisait 8 têtes par couche ; GPT-3 en utilise 96.

L'attention compare chaque token à chaque autre token, donc son travail croît avec le carré de la longueur du texte. C'est l'une des principales raisons pour lesquelles la fenêtre de contexte d'un modèle a une limite.