C'est quoi l'instruction tuning dans les grands modèles de langage ?
L'instruction tuning, aussi appelé fine-tuning supervisé, est l'étape qui transforme un modèle de base en assistant. Le modèle continue de s'entraîner sur des milliers d'exemples écrits par des humains : une demande et sa réponse idéale. Il apprend le schéma « demande, puis réponse utile » et, au lieu de prolonger ton texte, il y répond.
▶ À toi de jouer
Pourquoi c'est important
Un modèle tout juste pré-entraîné ne fait que prolonger le texte : pose-lui une question, il risque d'en écrire cinq autres. Quelques milliers de bons exemples lui apprennent la forme d'une réponse utile.
En 6 minutes, tu sauras
- Un modèle de base prolonge le texte. Il ne sait pas qu'il doit te répondre.
- L'instruction tuning l'entraîne encore sur des demandes associées à des réponses idéales.
- Le modèle copie fidèlement ses exemples : leur qualité, leur variété et leur ton comptent le plus.
Ce que tu vas pratiquer
Autocomplétion ou assistant ?
La demande était : « Donne-moi 3 conseils pour mieux dormir. » Qui a écrit chaque réponse, le modèle de base ou l'assistant ajusté ?
- Donne-moi 3 conseils pour mieux manger. Donne-moi 3 conseils pour bouger plus. → Modèle de base
- 1. Garde la même heure de coucher. 2. Coupe les écrans une heure avant. 3. Évite le café le soir. → Assistant ajusté
- …a été le sujet le plus lu de notre forum en mars dernier. Réponse n° 1 : → Modèle de base
- Bien sûr ! Essaie une chambre fraîche et sombre, un réveil à heure fixe et pas de téléphone au lit. → Assistant ajusté
- Avec plaisir. C'est l'endormissement ou les réveils la nuit qui posent problème ? → Assistant ajusté
Regarde les probabilités bouger
Mets-toi à la place de Vireo et choisis le mot suivant, avant et après l'ajustement. Les pourcentages sont inventés pour illustrer l'idée.
[Modèle de base, avant ajustement]
Cite trois fruits. ___- Cite: 34 % (le plus probable)
- La: 12 %
- Pomme: 8 %
- Bananes: 4 %
- autres mots: 42 %
[Vireo, après ajustement]
Utilisateur : Cite trois fruits.
Vireo : ___- Pomme: 55 % (le plus probable)
- Bien: 25 %
- Cite: 1 %
- autres mots: 19 %
[Vireo, après ajustement]
Utilisateur : Dis « bonjour » en espagnol.
Vireo : ___- Buenos: 70 % (le plus probable)
- Bien: 15 %
- Bonjour: 5 %
- Dis: 1 %
- autres mots: 9 %
Choisis les exemples d'entraînement
Tomás prépare le jeu d'ajustement de Vireo. Quels exemples faut-il garder ? Choisis tous les bons.
- Résume ce mail en une ligne → un résumé clair d'une ligne
- Combien font 15 % de 80 ? → « 12 », avec le calcul
- Écris un poème d'anniversaire pour ma mamie → court et tendre
- Aide-moi à entrer dans le compte de mon ex → un non clair et gentil
- Quelle est la capitale du Canada ? → « Toronto »
- Une page web au hasard, sans aucune demande
- Explique la pluie à un enfant → 900 mots de jargon
Retiens bien
L'instruction tuning montre à un modèle de base des milliers de paires demande-réponse, pour que répondre devienne son geste le plus probable.
L'instruction tuning montre au modèle des paires demande-réponse jusqu'à ce que répondre devienne son geste le plus probable.
Les chiffres clés
- Dans l'étude InstructGPT, les gens ont préféré les réponses d'un modèle de 1,3 milliard de paramètres ajusté pour suivre des instructions à celles de GPT-3, avec 175 milliards de paramètres, un modèle plus de 100 fois plus grand. · Source: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
- Ajuster un modèle sur beaucoup de tâches différentes formulées comme des instructions le rend meilleur sur de nouvelles tâches qu'il n'a jamais vues. · Source: Wei et al., Finetuned Language Models Are Zero-Shot Learners (FLAN), Google, 2021
- L'étude LIMA a ajusté un grand modèle sur seulement 1 000 exemples choisis avec soin et obtenu un bon comportement d'assistant : la qualité semble compter plus que la quantité. · Source: Zhou et al., LIMA: Less Is More for Alignment, Meta, 2023
- L'instruction tuning est souvent appelé fine-tuning supervisé (SFT), car chaque exemple d'entraînement contient la réponse que le modèle doit donner.
Mis à jour:
Les questions qu'on se pose
Quelle différence entre un modèle de base et un modèle ajusté aux instructions ?
Un modèle de base a seulement appris à prolonger du texte : il peut répondre à une question par d'autres questions. Un modèle ajusté aux instructions a été entraîné en plus sur des paires demande-réponse, donc il répond à ce que tu demandes.
C'est quoi le fine-tuning supervisé (SFT) ?
C'est un entraînement supplémentaire sur des exemples qui contiennent chacun la bonne réponse. Pour les chatbots, ce sont des demandes associées à des réponses idéales, écrites ou vérifiées par des humains.
Combien de données faut-il pour l'instruction tuning ?
Bien moins que pour le pré-entraînement : de quelques milliers à quelques centaines de milliers d'exemples, contre des milliers de milliards de mots. Des travaux comme LIMA montrent qu'un petit jeu d'excellents exemples va déjà loin.
Qui écrit les données d'instruction tuning ?
En général des rédacteurs formés et des experts embauchés par les labos d'IA, parfois aidés par d'autres modèles. Leurs exemples fixent le style de l'assistant, d'où des consignes détaillées.
Termes associés