Comment les modèles de raisonnement apprennent-ils à réfléchir étape par étape ?
Les modèles de raisonnement sont entraînés par renforcement sur des problèmes vérifiables, comme les maths et le code. Le modèle fait de nombreux essais, chacun une chaîne d'étapes de réflexion, et un vérificateur automatique ne récompense que ceux qui trouvent la bonne réponse. Peu à peu, des habitudes soigneuses, comme avancer pas à pas et se relire, se renforcent.
▶ À toi de jouer
Pourquoi c'est important
Certaines réponses se vérifient automatiquement, sans humain. Un modèle peut donc s'exercer sur des millions de problèmes et apprendre quelles façons de réfléchir mènent vraiment à la bonne réponse.
En 6 minutes, tu sauras
- Les réponses en maths et en code se vérifient automatiquement : un modèle peut s'exercer sur des millions de problèmes.
- L'apprentissage par renforcement récompense les chaînes de pensée qui trouvent la bonne réponse.
- Découper un problème ou se relire sont des habitudes qui paient, donc elles se renforcent. Vérifie quand même les réponses importantes.
Ce que tu vas pratiquer
Vérifie les chaînes
Pour chaque essai, touche la première étape fausse, ou « Aucune erreur ». Puis lance le vérificateur et regarde les barres.
Problème: 17 × 24 = ? → 408
- Répond au hasard: Ça fait environ 400 → [✗ Donc : 398] → 398 ✗
- Étapes sans vérif: 17 × 20 = 340 → [✗ 17 × 4 = 58] → 340 + 58 = 398 → 398 ✗
- Étapes + vérif: 17 × 20 = 340 → 17 × 4 = 68 → 340 + 68 = 408 → Vérif : 17 × 25 − 17 = 408 ✓ → 408 ✓
Problème: Un t-shirt à 40 € est soldé à −25 %. Tu paies combien ? → 30 €
- Étapes sans vérif: 25 % de 40 = 10 → 40 − 10 = 30 → 30 € ✓
- Répond au hasard: [✗ −25 %, donc 25 €] → 25 € ✗
- Étapes + vérif: 25 % = un quart → 40 ÷ 4 = 10 → 40 − 10 = 30 → Vérif : 30 fait 75 % de 40 ✓ → 30 € ✓
Problème: Léa a 3 ans de plus que Hugo. À eux deux, ils ont 21 ans. Quel âge a Léa ? → 12
- Étapes + vérif: Hugo = x, Léa = x + 3 → 2x + 3 = 21 → x = 9, donc Léa = 12 → Vérif : 12 + 9 = 21 ✓ → 12 ✓
- Étapes sans vérif: Hugo = x, Léa = x + 3 → 2x + 3 = 21 → x = 9 → [✗ Donc Léa a 9 ans] → 9 ✗
- Répond au hasard: À peu près la moitié de 21 → [✗ Donc Léa a 10 ans] → 10 ✗
Problème: Un train part à 9 h 47 et le trajet dure 2 h 38. À quelle heure arrive-t-il ?
9 h 47 + 2 h = 11 h 47 → 11 h 47 + 38 min = 11 h 85 → Attends : 11 h 85 n'existe pas. 85 min = 1 h 25 → 11 h + 1 h 25 = 12 h 25 → Vérif : de 9 h 47 à 12 h 25, il y a 2 h 38 ✓ → 12 h 25 ✓Un vérificateur peut-il noter ça ?
Cet entraînement a besoin de réponses qu'un programme peut vérifier. Quelles tâches conviennent ?
- Résous : 3x + 5 = 20 → Un vérificateur peut noter
- Écris un mot gentil pour un nouveau voisin → Il faut un jugement humain
- Corrige ce code pour que tous ses tests passent → Un vérificateur peut noter
- Cette explication est-elle claire pour un enfant de 12 ans ? → Il faut un jugement humain
- Combien de jours y a-t-il du 3 mars au 1er avril ? → Un vérificateur peut noter
- Lequel de ces deux poèmes est le plus émouvant ? → Il faut un jugement humain
Quelles habitudes ont été récompensées ?
Personne n'a programmé la façon de réfléchir de Vireo. Quelles habitudes la récompense des bonnes réponses fait-elle pousser ? Choisis toutes les bonnes.
- Découper un problème en petites étapes
- Vérifier la réponse d'une autre façon
- Essayer une autre approche après une impasse
- Réfléchir plus longtemps sur les problèmes durs
- Avoir l'air plus sûr de soi
- Employer des mots plus longs
Retiens bien
Les modèles de raisonnement s'exercent sur des problèmes vérifiables. Récompenser les bonnes réponses rend plus probable une réflexion soigneuse, pas à pas.
Récompense assez souvent la bonne réponse, et les bonnes habitudes de réflexion poussent toutes seules.
Les chiffres clés
- Demander simplement à un grand modèle d'écrire son raisonnement étape par étape, ce qu'on appelle le chain-of-thought prompting, améliore sa précision sur des problèmes de maths. · Source: Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, Google, 2022
- OpenAI indique que son modèle o1 fait mieux à la fois avec plus d'entraînement par renforcement et avec plus de temps de réflexion avant de répondre. · Source: OpenAI, Learning to Reason with LLMs, 2024
- DeepSeek indique qu'un apprentissage par renforcement avec de simples règles récompensant les bonnes réponses a amené son modèle R1-Zero à développer de longs raisonnements et à se vérifier, sans exemples de raisonnement écrits par des humains. · Source: DeepSeek-AI, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, 2025
- Les tâches à réponse vérifiable, comme un résultat de maths ou du code qui doit passer des tests, conviennent à cet entraînement, car la récompense se calcule automatiquement, sans évaluateur humain.
Mis à jour:
Les questions qu'on se pose
C'est quoi un modèle de raisonnement ?
C'est un modèle de langage entraîné à traiter un problème par une chaîne d'étapes de réflexion avant de répondre. Il est en général entraîné par renforcement sur des problèmes dont la réponse se vérifie.
C'est quoi une chaîne de pensée (chain of thought) ?
C'est le raisonnement pas à pas qu'un modèle écrit pour arriver à une réponse, comme quand tu détailles tes calculs en maths. Il rend souvent plus justes les réponses aux problèmes à plusieurs étapes.
Pourquoi les modèles de raisonnement mettent-ils plus de temps à répondre ?
Ils écrivent de nombreuses étapes de réflexion avant la réponse finale, et plus le problème est dur, plus il y en a. Chaque étape prend du temps et de la puissance de calcul, mais améliore souvent la précision.
Les modèles de raisonnement font-ils encore des erreurs ?
Oui. Ils se trompent moins sur les problèmes vérifiables, mais peuvent raisonner à partir d'un fait faux ou produire une chaîne convaincante mais bancale. Vérifie les réponses importantes.
Termes associés