Wie LLMs entstehen / Glossar

robots.txt

Die robots.txt ist eine kleine Textdatei auf einer Website, die Crawlern sagt, welche Seiten sie besuchen dürfen und welche nicht. Betreiber können damit KI-Crawler bitten, ihre Inhalte nicht zu sammeln.

Die Datei liegt ganz oben auf einer Website, zum Beispiel unter example.com/robots.txt. Sie nennt Crawler beim Namen und die Bereiche der Seite, die jeder meiden soll. Die Idee stammt von 1994 und wurde 2022 ein Internetstandard.

Viele KI-Firmen veröffentlichen die Namen ihrer Crawler, damit Websites sie einzeln sperren können, und Forschende stellten fest, dass Websites KI-Crawler 2023 und 2024 viel häufiger einschränkten als zuvor. In der EU ist die robots.txt ein maschinenlesbarer Weg für Rechteinhaber, ihre Werke vom Text- und Data-Mining auszunehmen.

Die robots.txt ist eine Bitte, kein Schloss: Höfliche Crawler halten sich daran, aber technisch zwingt sie nichts dazu. Einen Crawler zu sperren stoppt außerdem nur das künftige Sammeln; aus bereits trainierten Modellen entfernt es keinen Text.