Como os LLMs são feitos / Glossário

Deduplicação de dados

Deduplicação de dados é encontrar e remover cópias repetidas do mesmo texto num conjunto de dados, para que um modelo de linguagem não veja o mesmo trecho de novo e de novo durante o treino.

A web está cheia de cópias: o mesmo artigo em vários sites, o mesmo aviso de cookies em milhões de páginas, os mesmos termos de uso por toda parte. Ferramentas de deduplicação acham cópias exatas e quase idênticas e mantêm só uma.

Texto repetido desperdiça tempo de treino e ensina o modelo a decorar. Pesquisadores descobriram que deduplicar os dados de treino fez os modelos de linguagem repetirem texto decorado com muito menos frequência e treinarem de forma mais eficiente.

A deduplicação é uma etapa de uma linha de limpeza maior, que também tira a poluição das páginas, descarta spam e texto de baixa qualidade e remove dados pessoais como e-mails e números de telefone.