Come nascono gli LLM / Glossario

robots.txt

robots.txt è un piccolo file di testo su un sito web che dice ai crawler quali pagine possono visitare e quali no. Chi gestisce un sito può usarlo per chiedere ai crawler dell’IA di non raccogliere i suoi contenuti.

Il file si trova nella radice di un sito, per esempio esempio.it/robots.txt. Elenca i crawler per nome e le parti del sito da cui ciascuno deve stare lontano. L’idea risale al 1994 ed è diventata uno standard di internet nel 2022.

Molte aziende di IA pubblicano i nomi dei loro crawler perché i siti possano bloccarli uno per uno, e i ricercatori hanno visto che nel 2023 e nel 2024 i siti hanno limitato i crawler dell’IA molto più spesso di prima. Nell’UE robots.txt è uno dei modi leggibili da una macchina con cui i titolari dei diritti possono escludere le loro opere dall’estrazione di testo e dati.

robots.txt è una richiesta, non una serratura: i crawler corretti la rispettano, ma tecnicamente niente li obbliga. Bloccare un crawler ferma solo la raccolta futura; non toglie il testo dai modelli già addestrati.