Como os dados de treinamento de um modelo de linguagem são limpos?
O texto bruto da web é bagunçado, então passa por uma linha de limpeza antes do treino. Filtros tiram menus e avisos de cookies, descartam páginas quebradas, removem spam e cópias do mesmo texto, mantêm principalmente frases bem escritas e apagam dados pessoais como e-mails e telefones. A maior parte do texto coletado vai fora; quanto mais limpos os dados, melhor o modelo.
▶ Pratique
Por que isso importa
Um modelo aprende tudo o que lê, inclusive spam, cópias e números de telefone. A limpeza decide como o modelo vai soar e o que ele pode repetir.
Em 6 minutos você vai conseguir
- Tudo o que você publica abertamente pode acabar numa coleta, então deixe telefone e endereço fora de páginas públicas.
- Quando um modelo repete frases de spam ou textos padrão estranhos, isso mostra o que havia nos dados dele.
- Pergunte aos fornecedores de IA como eles filtram dados pessoais; os bons descrevem isso na documentação.
O que você vai praticar
Limpe a página
O crawler salvou esta página de notícias. Toque em tudo o que não é o próprio artigo.
Diário do Porto
🍪 Usamos cookies. Aceitar todos?
Início · Notícias · Esporte · Tempo · Entrar
Cidade abre uma biblioteca de objetos
A partir de segunda, moradores podem pegar emprestado furadeiras, barracas e máquinas de costura de graça. “As pessoas compravam ferramentas que usavam uma vez só”, diz a bibliotecária Fernanda Lima.
PATROCINADO: Perca 10 kg em 3 dias!!! Clique aqui
© Diário do Porto · Privacidade · Termos · CompartilharComande a linha de limpeza
As páginas chegam uma por uma. Apague dados pessoais tocando neles e mande cada página para a caixa certa.
Como as abelhas acham o caminho de casa (notas-natureza.example/abelhas) → ✅ Manter
As abelhas usam o sol como bússola. Em dias nublados, elas leem padrões na luz e se lembram de pontos de referência pelo caminho, de árvores a cercas.
Um artigo claro e bem escrito. É exatamente o tipo de texto com que o Vireo deve aprender.
TÊNIS BARATO melhor tênis barato COMPRE (tenis-barato-top.example/tenis-barato) → 🚫 Spam
tênis barato melhor tênis barato compre já tênis barato frete grátis tênis barato melhor preço clique aqui tênis barato!!!
Palavras-chave enfiadas para buscadores, não para pessoas. Um modelo que lê isso aprende a falar besteira.
Re: a corrente da minha bike range (forum-conserto.example/corrente-rangendo) → ✅ Manter
Limpe a corrente com um pano, pingue uma gota de óleo em cada elo e gire os pedais. Ainda rangendo? Me escreva em
mariana.k@mailbox.example[E-MAIL] ou ligue para(11) 5555-0142[TELEFONE].Uma dica útil de uma pessoa real. Mantenha a dica, mas só depois de apagar os contatos.
- [E-MAIL] mariana.k@mailbox.example: Um endereço de e-mail leva a uma pessoa real. Ele sai, a dica útil fica.
- [TELEFONE] (11) 5555-0142: Um número de telefone é privado. Um modelo que o decora poderia repeti-lo para qualquer um.
Como as abelhas acham o caminho de casa (copia-noticias.example/abelhas-casa) → 📑 Cópia
As abelhas usam o sol como bússola. Em dias nublados, elas leem padrões na luz e se lembram de pontos de referência pelo caminho, de árvores a cercas.
Mesma impressão digital do artigo das abelhas que você já viu. Texto repetido faz o modelo decorar em vez de aprender.
Carregando… (loja.example/carregando) → 🧩 Quebrada
Aceitar todos os cookies? Sim · Não · Menu · Início · Entrar · Carrinho (0) · © Todos os direitos reservados · Carregando… Carregando…
Só botões e menus, nenhuma frase de verdade. Páginas quebradas assim vão para o lixo.
Sopa de tomate em 20 minutos (cozinha-de-casa.example/sopa-de-tomate) → ✅ Manter
Refogue uma cebola no azeite, junte duas latas de tomate e uma pitada de açúcar, deixe 15 minutos no fogo baixo e bata no liquidificador. Igualzinho ao que se faz em Nápoles.
Uma receita clara, com frases de verdade. Vai para o conjunto de treino.
- ✓ Nápoles: Uma cidade não é um dado pessoal, é parte da história da receita. Só sai o que aponta para uma pessoa.
Top 10 melhores top 10 avaliações (top10-reviews.example/top-10-melhores) → 🚫 Spam
Top 10 melhores produtos. Melhores produtos top avaliação. Este produto é o melhor produto para melhores resultados. Compre melhor produto. Top melhores 10.
Enchimento feito por máquina que se repete e não diz nada. Filtros de qualidade descartam isso.
Por que limpar?
O mesmo artigo aparece 500 vezes na coleta. Por que manter uma cópia só?
- Repetições levam o modelo a decorar o texto palavra por palavra (Resposta)
- Cópias não fazem mal, mais dados é sempre melhor
Uma linha de limpeza consegue pegar todo dado pessoal?
- Não, filtros deixam passar coisas, então alguns escapam (Resposta)
- Sim, computadores acham todo nome e todo número
Lembre-se
Um modelo só é tão bom quanto o texto com que aprende. A limpeza descarta lixo e cópias e apaga dados pessoais.
A maior parte do texto coletado nunca chega ao treino. O que sobra é filtrado, deduplicado e limpo de dados pessoais.
Fatos principais
- Remover textos duplicados dos dados de treino fez os modelos de linguagem repetirem texto decorado com muito menos frequência e treinarem de forma mais eficiente. · Fonte: Lee et al., Deduplicating Training Data Makes Language Models Better, ACL 2022
- Pesquisadores mostraram que um modelo de linguagem conseguia reproduzir trechos dos dados de treino palavra por palavra, inclusive nomes, telefones e e-mails. · Fonte: Carlini et al., Extracting Training Data from Large Language Models, USENIX Security 2021
- O conjunto de dados C4 foi criado limpando a Common Crawl com regras simples: manter linhas que terminam em pontuação, descartar páginas com texto de preenchimento ou código e remover trechos repetidos. · Fonte: Raffel et al., Google, Exploring the Limits of Transfer Learning (T5), 2020
- A limpeza de dados costuma remover a maior parte do que um crawler coleta, por isso as equipes começam com coletas muito grandes.
Atualizado:
Perguntas frequentes
Como as empresas de IA limpam os dados de treino?
Elas extraem o texto principal de cada página, filtram spam, páginas quebradas e de baixa qualidade, removem duplicatas e apagam dados pessoais como e-mails e telefones. Muitas equipes também usam modelos pequenos para dar nota à qualidade do texto.
Por que remover duplicatas dos dados de treino?
Um texto que o modelo vê muitas vezes tem mais chance de ser decorado e repetido palavra por palavra. Uma cópia basta para aprender, e tirar o resto economiza tempo de computação.
Dados pessoais são removidos dos dados de treino de IA?
Em geral, parte deles é: filtros pegam padrões como e-mails e números de telefone. Mas filtros podem deixar passar detalhes, então dados pessoais ainda podem escapar.
Termos relacionados