Jak powstają modele językowe / Słowniczek

robots.txt

robots.txt to mały plik tekstowy na stronie internetowej, który mówi crawlerom, które strony mogą odwiedzać, a których nie. Właściciele stron mogą nim poprosić crawlery AI, by nie zbierały ich treści.

Plik leży na samej górze strony, np. przyklad.pl/robots.txt. Wymienia crawlery z nazwy i części serwisu, od których każdy ma się trzymać z daleka. Pomysł pochodzi z 1994 roku, a w 2022 roku stał się standardem internetowym.

Wiele firm AI publikuje nazwy swoich crawlerów, żeby strony mogły blokować je po kolei, a badacze odkryli, że w latach 2023 i 2024 strony ograniczały crawlery AI dużo częściej niż wcześniej. W UE robots.txt to jeden z odczytywalnych maszynowo sposobów, by właściciele praw zastrzegli swoje utwory przed eksploracją tekstów i danych.

robots.txt to prośba, nie zamek: grzeczne crawlery jej przestrzegają, ale technicznie nic ich do tego nie zmusza. Zablokowanie crawlera zatrzymuje też tylko przyszłe zbieranie; nie usuwa tekstu z modeli, które już wytrenowano.