Qu'est-ce qu'un grand modèle de langage (LLM) ?
Un grand modèle de langage (LLM) est une IA entraînée sur d'énormes quantités de texte pour une seule tâche : prédire le morceau de texte suivant. Il note chaque token possible, en choisit un probable et recommence. Des milliards de nombres réglés à l'entraînement stockent ce qu'il a appris, ce qui lui permet de répondre, traduire, résumer et coder.
▶ À toi de jouer
Pourquoi c'est important
Chaque chatbot repose sur un LLM. Une fois que tu vois qu'il prédit le mot suivant, tu comprends pourquoi il parle si bien, pourquoi il sait tant de choses et pourquoi il peut se tromper avec aplomb.
En 6 minutes, tu sauras
- Quand un chatbot répond, imagine-le en train de classer des mots suivants : ça explique son aisance comme ses ratés.
- Vérifie les noms, dates et chiffres qu'il te donne, car une réponse qui sonne juste peut être inventée.
- Sers-t'en pour rédiger, expliquer et reformuler, là où une formulation probable est exactement ce que tu veux.
Ce que tu vas pratiquer
Grand. Modèle. De langage.
Touche chaque carte pour décortiquer le nom.
- 📏 Grand
- Des milliards de nombres réglables, appelés paramètres, entraînés sur des milliers de milliards de mots. Sa taille explique en grande partie pourquoi il marche si bien.
- 💬 De langage
- Il travaille avec du texte : il en lit et il en écrit, dans de nombreuses langues humaines et en code informatique.
- 🧮 Modèle
- Une gigantesque fonction mathématique. Du texte entre, et il en sort une note pour chaque token suivant possible.
- 🎯 Alors, que fait-il vraiment ?
- Une seule chose, encore et encore : prédire le morceau de texte suivant. Répondre, résumer et traduire reposent tous là-dessus.
Prends la place de Vireo
Choisis le mot qui vient ensuite selon toi. Puis vois la probabilité de chaque option. Les pourcentages sont illustratifs.
Le chat dort sur le ___
- canapé: 62 % (le plus probable)
- lit: 21 %
- tapis: 9 %
- nuage: 0,1 %
- autres mots: 8 %
L'eau gèle à zéro degré ___
- Celsius: 80 % (le plus probable)
- Fahrenheit: 5 %
- aujourd'hui: 2 %
- autres mots: 13 %
Traduis en anglais : bonjour → ___
- hello: 88 % (le plus probable)
- good evening: 4 %
- bonjour: 2 %
- autres mots: 6 %
Tomás, ingénieur entraînement chez Vireo Labs, est né en ___
- Espagne: 20 % (le plus probable)
- 1990: 14 %
- Colombie: 10 %
- Argentine: 9 %
- autres mots: 47 %
Vrai ou idée reçue ?
Trie chaque affirmation sur les grands modèles de langage.
- Il a appris sur d'énormes quantités de texte → Vrai
- Il cherche les réponses dans une base de données → Idée reçue
- Il écrit un token à la fois → Vrai
- Quelqu'un a écrit une règle pour chaque réponse → Idée reçue
- Il peut sembler sûr de lui et se tromper → Vrai
- Il donne toujours la même réponse → Idée reçue
La chaîne de fabrication
Ce cours suit Vireo du texte brut à l'assistant. Remets les postes dans l'ordre.
- Collecter d'énormes quantités de texte
- Le nettoyer et le découper en tokens
- Pré-entraîner : deviner le token suivant, des milliers de milliards de fois
- L'ajuster pour suivre des instructions et des retours
- Le tester à fond, puis le publier
Retiens bien
Un LLM prédit le token suivant après s'être entraîné sur d'immenses quantités de texte. Fluide veut dire probable, pas forcément vrai.
Un LLM prédit le token suivant, encore et encore. Son savoir, ce sont des motifs stockés dans des milliards de nombres.
Les chiffres clés
- La plupart des grands modèles de langage actuels reposent sur le Transformer, une architecture présentée dans un article de recherche de 2017. · Source: Vaswani et al., Google, Attention Is All You Need, NeurIPS 2017
- GPT-3 avait 175 milliards de paramètres, les nombres réglables qui stockent ce qu'un modèle apprend. · Source: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
- Llama 3 a été pré-entraîné sur plus de 15 000 milliards de tokens de texte. · Source: Meta, Introducing Meta Llama 3, 2024
- Des gens ont préféré les réponses d'un modèle de 1,3 milliard de paramètres ajusté pour suivre des instructions à celles de GPT-3 et ses 175 milliards : l'entraînement après le pré-entraînement compte. · Source: Ouyang et al., OpenAI, Training language models to follow instructions with human feedback, 2022
Mis à jour:
Les questions qu'on se pose
Que veut dire LLM ?
LLM signifie large language model, en français grand modèle de langage : un modèle d'IA avec des milliards de paramètres, entraîné sur d'énormes quantités de texte pour prédire le token suivant.
Un chatbot, c'est la même chose qu'un LLM ?
Un chatbot est une application construite autour d'un LLM. Le modèle prédit du texte ; l'application ajoute la fenêtre de discussion, un entraînement en plus pour suivre les instructions, des règles de sécurité et parfois des outils comme la recherche web.
Un grand modèle de langage comprend-il ce qu'il dit ?
Pas comme les humains. Il a appris des motifs de langage très détaillés, ce qui le rend utile, mais il n'a aucun moyen intégré de vérifier si une phrase est vraie.
Pourquoi dit-on qu'ils sont grands ?
À cause de leur taille : des milliards de paramètres, entraînés sur des milliers de milliards de mots avec une énorme puissance de calcul. Les modèles plus gros, entraînés sur plus de données, sont en général devenus plus capables.
Termes associés