Comment sont créés les LLM / Glossaire

Chaîne de pensée (chain of thought)

La chaîne de pensée est le raisonnement étape par étape qu'un modèle de langage écrit avant sa réponse finale. Les modèles de raisonnement sont entraînés à produire de longues chaînes de pensée pour résoudre des problèmes plus difficiles.

Des chercheurs ont montré en 2022 que demander simplement à un grand modèle d'écrire son raisonnement étape par étape améliorait sa précision sur des problèmes de maths. Écrire les étapes donne au modèle plus de texte sur lequel s'appuyer avant de s'engager sur une réponse.

Les modèles de raisonnement vont plus loin grâce à l'entraînement. Ils s'exercent sur des problèmes à réponse vérifiable, comme les maths et le code, et l'apprentissage par renforcement récompense les chaînes qui arrivent au bon résultat. Des habitudes comme revérifier son travail sont renforcées, et réfléchir plus longtemps aide souvent.

Une chaîne de pensée est utile mais ce n'est pas une fenêtre parfaite sur le modèle. Des chercheurs ont constaté que les étapes écrites ne reflètent pas toujours ce qui a vraiment mené à la réponse, donc le résultat final doit toujours être vérifié.