Tous les thèmes / Comment sont créés les LLM
Comment naît un grand modèle de langage, du texte brut au chatbot
Suis un modèle à travers toute l'usine : collecter et nettoyer du texte, le découper en tokens, des mois à deviner le token suivant sur des milliers de puces, puis l'entraînement qui transforme une autocomplétion en assistant utile. Chaque leçon est un dessin animé de 6 minutes avec un petit jeu. Sans maths, sans code.
- 24 leçons
- 144 min
- Gratuit
- Sans inscription
Salut, moi c'est Tomás. J'aide à entraîner des modèles de langage chez Vireo Labs. Je t'emmène à chaque poste de la chaîne, d'un tas de pages web en désordre jusqu'à un modèle qui répond aux questions, et je te montre où se prennent les choix difficiles.
La matière première
D'où vient le texte, comment on le nettoie et comment il devient des nombres
- 1
Qu'est-ce qu'un grand modèle de langage ?
Un géant qui prédit le mot suivant, fait de texte
- 2
D'où vient le texte d'entraînement
Pages web, livres, code et conversations
- 3
Nettoyer les données
Supprimer les doublons, le spam et les infos privées
- 4
Les tokens : du texte en morceaux
Pourquoi un modèle lit « incroyable » en trois morceaux
- 5
Les embeddings : des mots dans l'espace
Les sens proches se retrouvent côte à côte
- 6
À qui sont ces données ?
Droit d'auteur, consentement et droit de refuser
Le pré-entraînement
Le Transformer, l'attention et des mois à deviner le token suivant
- 7
Le Transformer
L'architecture en couches derrière chaque LLM moderne
- 8
L'attention
Comment chaque mot regarde les mots qui comptent
- 9
Deviner le token suivant
Un seul jeu d'entraînement, joué des milliers de milliards de fois
- 10
Apprendre de ses erreurs
La perte, de petits ajustements et des milliards de boutons
- 11
Passer à l'échelle
Plus de données, plus de paramètres, plus de puces
- 12
Le modèle de base
Une autocomplétion brillante, pas encore un assistant
Devenir un assistant
Instructions, retours humains, raisonnement, sécurité et outils
- 13
Le fine-tuning sur instructions
Apprendre au modèle à suivre les demandes
- 14
Apprendre des retours humains
Des gens comparent deux réponses et choisissent la meilleure
- 15
Les modèles de récompense
Un second modèle qui note les réponses
- 16
Apprendre à raisonner
Réfléchir étape par étape sur des problèmes vérifiables
- 17
L'entraînement à la sécurité
Refuser de nuire, rester honnête, admettre le doute
- 18
Outils et agents
Recherche, code et actions dans le monde réel
Tester et lancer
Benchmarks, red teams, modèles plus petits et génération des réponses
- 19
Benchmarks et évaluations
Comment un nouveau modèle reçoit son bulletin de notes
- 20
Le red teaming
Des experts tentent de piéger le modèle avant son lancement
- 21
Rendre les modèles plus petits
Distillation et quantification
- 22
Comment naît une réponse
Un token à la fois, avec une pincée de hasard
- 23
Fenêtre de contexte et mémoire
Ce que le modèle voit d'un coup, et ce qu'il oublie
- 24
Fiches de modèle et lancement
Ce que t'apprend un lancement responsable
Comment ça marche
- 01
Regarde
Un dessin animé montre comment ça fonctionne vraiment.
- 02
Essaie
Un petit jeu te fait passer à la pratique : repérer, trier, régler, décider.
- 03
Retiens
Trois points à retenir et un badge pour ta planche.
Les questions qu'on se pose
Faut-il savoir coder ou être bon en maths ?
Non. Chaque étape est montrée par un dessin animé avec des exemples du quotidien. Tu verras ce qu'est un token, un poids ou un modèle de récompense sans une seule formule.
Combien de temps faut-il pour entraîner un grand modèle de langage ?
Le pré-entraînement d'un modèle de pointe dure en général de quelques semaines à quelques mois sur des milliers de puces spécialisées, après une longue phase de collecte et de nettoyage des données. Le fine-tuning qui en fait un assistant vient en plus.
Ce cours est-il gratuit ?
Oui. Toutes les leçons sont gratuites, sans inscription et sans abonnement.
Quelle différence avec le cours Comprendre l'IA ?
Comprendre l'IA t'aide à comprendre l'IA et à bien t'en servir. Ce cours passe dans les coulisses et suit un modèle à chaque étape : sa construction, ses tests et son lancement.