D'où viennent les données d'entraînement des grands modèles de langage ?
Les grands modèles de langage apprennent sur un immense mélange de textes : pages web collectées par des robots, livres, articles scientifiques, code open source, encyclopédies et forums, plus des données sous licence. Chaque source apprend autre chose, des faits au récit en passant par le code. Ils s'entraînent sur des milliers de milliards de tokens, et ce mélange façonne leurs points forts.
▶ À toi de jouer
Pourquoi c'est important
Un modèle ne peut apprendre que ce qui se trouve dans ses données. Le mélange des sources explique ses points forts, les langues qu'il maîtrise et les voix qu'il reprend.
En 6 minutes, tu sauras
- Si un modèle est faible dans ta langue ou ton domaine, il a sans doute vu peu de textes à ce sujet pendant l'entraînement.
- Garde en tête que le texte du web contient des opinions et des erreurs, et qu'un modèle peut reprendre les deux.
- Cherche la documentation d'un modèle : les créateurs responsables décrivent leurs sources de données.
Ce que tu vas pratiquer
De quel tuyau ça vient ?
Chaque extrait vient d'une seule source. Range-le dans le bon tuyau.
- Horaires : du lundi au vendredi, 9 h – 17 h. Juste à côté de la gare. → Pages web
- Chapitre 3. La pluie ne s'était pas arrêtée depuis trois jours quand Claire atteignit le phare. → Livres
- def area(r): return 3.14159 * r * r → Code
- Re : erreur disque plein ? Vider le cache a marché pour moi, merci à tous ! → Forums
- « Je n'ai jamais voulu partir », murmura-t-elle en refermant le vieux journal intime. → Livres
- for (let i = 0; i < 10; i++) { total += i; } → Code
- Q : arroser ses cactus chaque semaine, c'est bien ? R : trop en hiver, essaie une fois par mois. → Forums
- 10 astuces faciles pour faire pousser des tomates sur un balcon → Pages web
Qu'a appris chaque tuyau ?
Chaque ligne imite le style d'une source. Choisis le mot suivant, puis vois la prédiction de Vireo. Les pourcentages sont illustratifs.
Longtemps, je me suis couché de bonne ___
- heure: 90 % (le plus probable)
- humeur: 3 %
- foi: 2 %
- baguette: 0 %
- autres mots: 5 %
if user is None:
return ___- None: 55 % (le plus probable)
- False: 20 %
- user: 5 %
- bonjour: 0,1 %
- autres mots: 20 %
Quelqu'un a déjà eu ce problème ? EDIT : réglé, ___
- merci: 40 % (le plus probable)
- en: 20 %
- jamais: 2 %
- autres mots: 38 %
Nous sommes ouverts du lundi au ___
- vendredi: 70 % (le plus probable)
- samedi: 15 %
- dimanche: 5 %
- autres mots: 10 %
Compose le mélange de Vireo
Tomás a préparé un plan pour le prochain entraînement. Mets chaque ligne sur le réglage qui donne un meilleur modèle.
- Ajouter du texte dans de nombreuses langues
- Copier 1 000 fois la page la plus populaire pour qu'elle compte plus
- Ajouter du code public de projets open source
- Ajouter les messages privés des gens
- Ajouter des manuels et articles scientifiques qu'on a le droit d'utiliser
- N'utiliser que le texte d'un seul grand site
Retiens bien
Un modèle ne sait que ce qu'il a lu. Son mélange de pages web, livres, code et conversations façonne tout ce qu'il fait.
Un modèle est façonné par son mélange de données : pages web, livres, code et conversations apprennent chacun autre chose.
Les chiffres clés
- Common Crawl, une association à but non lucratif, archive des milliards de pages web depuis 2008 et les met gratuitement à disposition ; des versions filtrées alimentent de nombreux modèles de langage. · Source: Common Crawl Foundation
- Le mélange d'entraînement de GPT-3 donnait environ 60 % du poids à du texte web filtré, 22 % à des pages web choisies, 16 % à deux collections de livres et 3 % à Wikipédia. · Source: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
- The Pile, un jeu de données ouvert pour entraîner des modèles de langage, combinait 22 sources différentes, des articles scientifiques au code en passant par les forums. · Source: Gao et al., EleutherAI, The Pile, 2020
- Llama 3 a été pré-entraîné sur plus de 15 000 milliards de tokens collectés dans des sources publiques. · Source: Meta, Introducing Meta Llama 3, 2024
Mis à jour:
Les questions qu'on se pose
Sur quelles données les LLM sont-ils entraînés ?
Surtout du texte : pages web publiques, livres, articles scientifiques, encyclopédies, code open source et discussions de forums, souvent avec des données sous licence et des exemples écrits exprès par des humains pour l'entraînement.
Combien de données faut-il pour entraîner un LLM ?
Les modèles actuels sont pré-entraînés sur des milliers de milliards de tokens, bien plus de texte qu'une personne ne pourrait en lire en plusieurs vies. La quantité exacte dépend du modèle.
Les LLM sont-ils entraînés sur des livres ?
Beaucoup le sont, car les livres offrent des textes longs et bien relus. Quels livres peuvent être utilisés, et à quelles conditions, fait débat et donne lieu à des procès dans plusieurs pays.
Pourquoi le mélange de données compte-t-il ?
Un modèle apprend les motifs de ce qu'il lit. Plus de code le rend meilleur en programmation, plus de langues le rend plus multilingue, et des données partiales le rendent partial.
Termes associés