Aller au contenu
FR

Leçon 5 sur 6 · 6 min · +100 XP

C'est quoi une fenêtre de contexte, et pourquoi un chatbot oublie-t-il ?

La fenêtre de contexte est la quantité de texte, comptée en tokens, qu'un modèle de langage voit d'un coup : tes messages, ses réponses, les fichiers collés et les instructions cachées. Quand une conversation la dépasse, les parties les plus anciennes en sortent et le modèle ne les voit plus. Il n'a aucune mémoire des anciens chats, sauf si une appli les lui redonne.

▶ À toi de jouer

Pourquoi c'est important

Un modèle n'a pas de mémoire entre les messages : il relit toute la conversation à chaque fois, et seulement ce qui tient dans sa fenêtre. C'est pour ça que les longs chats perdent les premiers détails.

En 6 minutes, tu sauras

  • La fenêtre contient tes messages, les réponses du modèle, les fichiers collés et les instructions de l'appli.
  • Quand un chat devient trop long, les parties les plus anciennes sortent et le modèle ne peut plus s'en servir.
  • Dans un long chat, redis les détails clés ou recommence avec un court résumé.

Ce que tu vas pratiquer

  1. Qu'y a-t-il dans la fenêtre ?

    À chaque message que tu envoies, le modèle relit sa fenêtre depuis le début. Qu'est-ce qui y prend de la place ?

    • Tes messages dans ce chat
    • Les réponses de Vireo dans ce chat
    • Un document que tu colles
    • Les instructions cachées de l'appli
    • Tous les livres sur lesquels Vireo a été entraîné
    • Un chat que tu as eu avec Vireo le mois dernier

  2. Remplis la fenêtre

    Lance le chat de Camille et regarde la fenêtre glisser. Puis aide Vireo à répondre. Les nombres de tokens sont arrondis et inventés.

    Ce que Vireo voit: 600 · La fenêtre de Vireo contient 600 tokens. Appuie sur Lancer le chat et regarde ce qui se passe quand la conversation la dépasse.

    1. Camille: Aide-moi à organiser une fête surprise pour ma sœur Manon ! C'est le samedi 12 avril, et elle est allergique aux cacahuètes. (40 tok)
      résumé: Fête : sam. 12 avril. Manon allergique aux cacahuètes. (14 tok)
    2. Vireo: Trop bien ! Commençons par la liste des invités et un lieu. (30 tok)
      résumé: A parlé des invités et du lieu. (8 tok)
    3. Camille: invites.txt : 24 noms, numéros de téléphone et qui apporte quoi (520 tok)
      résumé: Liste : 24 invités. (8 tok)
    4. Vireo: Avec 24 invités, une salle des fêtes ou un grand jardin feraient l'affaire. (60 tok)
      résumé: Salle ou jardin pour 24. (9 tok)
    5. Camille: Pardon, mon chat vient de marcher sur le clavier 😹 (20 tok)
      résumé: Chat sur le clavier. (5 tok)
    6. Vireo: Voici une comparaison détaillée de la salle et du jardin : prix, place, météo, parking… (300 tok)
      résumé: Camille a choisi la salle des fêtes. (8 tok)
    7. Camille: Pour le gâteau : génoise au citron et à la framboise, son préféré ! (25 tok)
      résumé: On a parlé du gâteau. (6 tok)
    8. Vireo: Idées de playlist : 40 chansons des années 90, classées par ambiance… (280 tok)
      résumé: Playlist : années 90. (6 tok)
    9. Camille: Maintenant, rédige la commande de gâteau pour la pâtisserie : date, nombre d'invités, parfum et allergies. (30 tok)

    ✗ Vireo: Commande : une génoise citron-framboise, pour environ 10 personnes. Date de retrait : je ne sais pas. Allergies : aucune mentionnée.

    La date, l'allergie et le nombre d'invités étaient tous dans les premiers messages, sortis de la fenêtre. Vireo n'a pas été négligent : il ne pouvait simplement plus les voir.

    ✓ Vireo: Commande : génoise citron-framboise pour 24 personnes, à retirer le samedi 12 avril. Strictement sans cacahuètes, s'il vous plaît : l'invitée d'honneur est allergique.

    Tout tient, et chaque détail utile à la pâtisserie a survécu. C'est ce que font les applis en coulisses dans les longs chats : couper, résumer et garder l'essentiel.

  3. Fenêtre ou entraînement ?

    D'où Vireo tient-il ceci : de sa fenêtre de contexte, de son entraînement, ou d'aucun des deux ?

    • Ton prénom, que tu lui as donné il y a dix messages → Fenêtre de contexte
    • Que l'eau bout à 100 °C au niveau de la mer → Entraînement
    • Le PDF que tu as envoyé il y a une minute → Fenêtre de contexte
    • Ce que tu lui as demandé dans un autre chat la semaine dernière → Aucun des deux
    • Comment écrire un mail poli → Entraînement
    • L'actu de ce matin, sans recherche web → Aucun des deux

Retiens bien

Un modèle ne voit que ce qui tient dans sa fenêtre de contexte. Les longs chats font sortir les premiers détails : répète ou résume ce qui compte.

La fenêtre de contexte est toute la mémoire à court terme du modèle. Ce qui n'y tient pas, il ne le voit pas.

Les chiffres clés

  • GPT-3, l'un des premiers très grands modèles de langage, pouvait lire une fenêtre de contexte de 2 048 tokens d'un coup. · Source: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
  • Les modèles Llama 3.1 de Meta acceptent une fenêtre de contexte de 128 000 tokens, assez pour un livre entier. · Source: Meta, The Llama 3 Herd of Models, 2024
  • Dans un transformer, chaque token prête attention à tous les autres : le travail de l'attention croît avec le carré de la longueur du texte. C'est une des raisons pour lesquelles les fenêtres sont limitées. · Source: Vaswani et al., Attention Is All You Need, Google, 2017
  • Des chercheurs ont constaté que les modèles exploitent mieux les informations au début et à la fin d'un long contexte que celles enfouies au milieu. · Source: Liu et al., Lost in the Middle: How Language Models Use Long Contexts, 2023

Mis à jour:

Les questions qu'on se pose

C'est quoi une fenêtre de contexte en IA ?

C'est la quantité maximale de texte, mesurée en tokens, qu'un modèle de langage peut prendre en compte d'un coup. Elle comprend tes messages, les réponses du modèle, les fichiers envoyés et les instructions cachées de l'appli.

Pourquoi un chatbot oublie-t-il ce que j'ai dit avant ?

Si une conversation devient plus longue que la fenêtre de contexte, les plus anciens messages n'y tiennent plus et le modèle ne peut plus les voir. Redire les détails clés ou ouvrir un nouveau chat avec un résumé aide.

Les chatbots IA se souviennent-ils des conversations précédentes ?

Le modèle lui-même, non : chaque chat commence avec une fenêtre vide. Certaines applis ont une fonction mémoire qui enregistre des notes et les remet dans la fenêtre lors des chats suivants.

Une plus grande fenêtre de contexte, c'est toujours mieux ?

Elle permet au modèle de lire des documents et des chats plus longs, mais demande plus de puissance de calcul, et les modèles peuvent encore rater des détails enfouis au milieu de très longs textes.

Termes associés