Wie LLMs entstehen / Glossar

Webcrawler

Ein Webcrawler ist ein Programm, das automatisch Webseiten besucht, ihren Inhalt speichert und ihren Links folgt, um weitere Seiten zu finden. Crawler sammeln einen Großteil des Texts, mit dem Sprachmodelle trainiert werden.

Ein Crawler startet mit einer Liste von Adressen, lädt jede Seite herunter, sammelt die Links und setzt sie auf seine To-do-Liste. Millionenfach wiederholt, kartiert und kopiert das einen großen Teil des öffentlichen Webs. Suchmaschinen nutzen Crawler seit den 1990er-Jahren.

Für KI sind gecrawlte Seiten die größte einzelne Quelle für Trainingstext. Common Crawl, eine gemeinnützige Organisation, archiviert seit 2008 Milliarden Webseiten und teilt sie kostenlos, und gefilterte Versionen davon stecken in vielen Sprachmodellen.

Seriöse Crawler nennen ihren Namen und halten sich an die Regeln, die eine Website in ihrer robots.txt festlegt. Roher gecrawlter Text ist chaotisch. Er wird vor dem Training bereinigt, gefiltert und von Duplikaten befreit, und das meiste davon fliegt raus.