De onde vêm os dados de treinamento dos grandes modelos de linguagem?
Grandes modelos de linguagem aprendem com uma mistura enorme de textos: páginas públicas da web coletadas por crawlers, livros, artigos científicos, código aberto, enciclopédias e fóruns, além de dados licenciados e escritos especialmente para o treino. Cada fonte ensina algo diferente, de fatos a narrativa e programação. Modelos modernos treinam com trilhões de tokens, e a mistura define no que o modelo é bom.
▶ Pratique
Por que isso importa
Um modelo só aprende o que está nos dados. A mistura de fontes explica no que ele é bom, quais línguas ele domina e de quem são as vozes que ele repete.
Em 6 minutos você vai conseguir
- Se um modelo é fraco na sua língua ou na sua área, provavelmente viu pouco texto sobre isso no treino.
- Lembre que o texto público da web tem opiniões e erros, e um modelo pode repetir os dois.
- Procure a documentação do modelo: fabricantes responsáveis descrevem suas fontes de dados.
O que você vai praticar
De qual cano veio?
Cada trecho veio de uma fonte. Coloque no cano certo.
- Horário: seg. a sex., das 9h às 18h. Ao lado da estação do metrô. → Páginas web
- Capítulo 3. Fazia três dias que chovia quando Clara chegou ao farol. → Livros
- def area(r): return 3.14159 * r * r → Código
- Re: erro de disco cheio? Limpar o cache resolveu aqui, valeu, galera! → Fóruns
- “Eu nunca quis ir embora”, ela sussurrou, fechando o velho diário. → Livros
- for (let i = 0; i < 10; i++) { total += i; } → Código
- P: Regar cacto toda semana tudo bem? R: No inverno é demais, tente uma vez por mês. → Fóruns
- 10 dicas fáceis para plantar tomate na varanda → Páginas web
O que cada cano ensinou?
Cada linha vem no estilo de uma fonte. Escolha a próxima palavra e veja a previsão do Vireo. As porcentagens são ilustrativas.
Era uma vez, num reino muito ___
- distante: 90% (a mais provável)
- antigo: 3%
- pequeno: 2%
- sanduíche: 0%
- outras palavras: 5%
if user is None:
return ___- None: 55% (a mais provável)
- False: 20%
- user: 5%
- hello: 0,1%
- outras palavras: 20%
Mais alguém teve esse problema? EDIT: resolvi, ___
- valeu: 40% (a mais provável)
- era: 20%
- nunca: 2%
- outras palavras: 38%
Abrimos de segunda a ___
- sexta: 70% (a mais provável)
- sábado: 15%
- domingo: 5%
- outras palavras: 10%
Planeje a mistura de dados do Vireo
Tomás rascunhou um plano para o próximo treino. Coloque cada linha na posição que faz um modelo melhor.
- Incluir textos em muitas línguas
- Copiar a página mais popular 1.000 vezes para ela pesar mais
- Incluir código público de projetos abertos
- Incluir mensagens privadas das pessoas
- Incluir livros didáticos e artigos científicos com permissão
- Usar texto de um único site grande
Lembre-se
Um modelo só sabe o que leu. A mistura de páginas da web, livros, código e conversas molda tudo o que ele faz.
Um modelo é moldado pela mistura de dados: páginas da web, livros, código e conversas ensinam coisas diferentes.
Fatos principais
- A Common Crawl, uma organização sem fins lucrativos, arquiva bilhões de páginas da web desde 2008 e as disponibiliza de graça; versões filtradas alimentam muitos modelos de linguagem. · Fonte: Common Crawl Foundation
- Na mistura de treino do GPT-3, cerca de 60% do peso ia para texto filtrado de crawl da web, 22% para páginas selecionadas, 16% para duas coleções de livros e 3% para a Wikipédia. · Fonte: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
- O Pile, um conjunto de dados aberto para treinar modelos de linguagem, juntou 22 fontes diferentes, de artigos científicos a código e fóruns. · Fonte: Gao et al., EleutherAI, The Pile, 2020
- O Llama 3 foi pré-treinado com mais de 15 trilhões de tokens coletados de fontes públicas. · Fonte: Meta, Introducing Meta Llama 3, 2024
Atualizado:
Perguntas frequentes
Com quais dados os LLMs são treinados?
Principalmente texto: páginas públicas da web, livros, artigos científicos, enciclopédias, código aberto e discussões de fóruns, muitas vezes junto com dados licenciados e exemplos escritos por pessoas especialmente para o treino.
Quantos dados são usados para treinar um LLM?
Modelos modernos são pré-treinados com trilhões de tokens, muito mais texto do que uma pessoa leria em várias vidas. A quantidade exata depende do modelo.
Os LLMs são treinados com livros?
Muitos são, porque livros oferecem textos longos e bem revisados. Quais livros podem ser usados, e em que condições, está em debate e é tema de processos em vários países.
Por que a mistura de dados importa?
Um modelo aprende os padrões do que lê. Mais código o deixa melhor em programação, mais línguas o deixam mais multilíngue e dados parciais o deixam parcial.
Termos relacionados