重複除去（デデュプリケーション）

重複除去とは、データセットから同じ文章のコピーを見つけて取りのぞくことです。言語モデルが学習中に同じ文を何度も読まないようにします。

Webはコピーだらけです。同じ記事がたくさんのサイトに、同じCookieのお知らせが何百万ものページに、同じ利用規約があちこちにあります。重複除去のツールは、まったく同じコピーやほぼ同じコピーを見つけて、1つだけ残します。

くり返しの文章は学習の時間をむだにし、モデルに丸暗記をさせてしまいます。研究者は、学習データの重複を取りのぞくと、言語モデルが暗記した文をそのまま出すことがずっと減り、学習の効率も上がることを示しました。

重複除去は、長いお掃除ラインの1工程です。ほかにも、ページのよけいな部分をはがし、スパムや質の低い文章を落とし、メールアドレスや電話番号などの個人情報を取りのぞきます。