Comment sont créés les LLM / Glossaire

Fenêtre de contexte

La fenêtre de contexte est la quantité maximale de texte, comptée en tokens, qu'un modèle de langage peut prendre en compte d'un coup, y compris tes messages, ses réponses, les fichiers collés et les instructions cachées.

Tout ce que le modèle utilise pour écrire son token suivant doit tenir dans la fenêtre. Quand une conversation la dépasse, les parties les plus anciennes n'y tiennent plus et le modèle ne peut plus s'en servir. Il ne se souvient pas non plus des discussions précédentes, sauf si une application les lui redonne.

Les fenêtres ont vite grandi : GPT-3 pouvait lire 2 048 tokens d'un coup, et Llama 3.1 en gère 128 000, assez pour un livre entier. Elles restent limitées, en partie parce que le travail de l'attention croît avec le carré de la longueur du texte.

Une grande fenêtre n'est pas toujours bien utilisée. Des chercheurs ont constaté que les modèles exploitent mieux l'information au début et à la fin d'un long contexte que celle enfouie au milieu : place ce qui compte le plus là où ça se voit.