Come nascono gli LLM / Glossario

Deduplicazione dei dati

La deduplicazione dei dati consiste nel trovare e togliere le copie ripetute dello stesso testo da un dataset, così un modello linguistico non vede lo stesso passaggio più e più volte durante l’addestramento.

Il web è pieno di copie: lo stesso articolo su molti siti, lo stesso avviso sui cookie su milioni di pagine, gli stessi termini di servizio ovunque. Gli strumenti di deduplicazione trovano le copie esatte e quasi esatte e ne tengono una sola.

Il testo ripetuto spreca tempo di addestramento e insegna al modello a memorizzare. I ricercatori hanno visto che deduplicare i dati di addestramento fa ripetere ai modelli linguistici molto meno testo memorizzato e rende l’addestramento più efficiente.

La deduplicazione è un passaggio di una catena di pulizia più lunga, che toglie anche gli elementi superflui delle pagine, scarta spam e testo di bassa qualità e rimuove dati privati come indirizzi email e numeri di telefono.