Glossareintrag
Wir denken. KI tippt mit.
KI-Crawler (englisch: AI Crawler, auch KI-Bots oder KI-Scraper) sind automatische Programme, die Webseiten abrufen, damit KI-Anbieter daraus Trainingsdaten gewinnen, einen Suchindex für KI-Antworten aufbauen oder eine Nutzerfrage live beantworten. Technisch arbeiten sie wie der Googlebot. Sie folgen Links von Seite zu Seite und laden den Inhalt herunter. Ein Suchmaschinen-Crawler holt eine Seite, um sie später als Treffer zu verlinken. Ein Trainings-Crawler wie GPTBot von OpenAI holt sie, damit ihr Inhalt in ein Sprachmodell einfließt, das die Antwort anschließend selbst gibt. Oft ohne Link zur Quelle. Scraping durch KI-Bots meint im engeren Sinn das Herausziehen bestimmter Daten aus den geladenen Seiten. Im Sprachgebrauch stehen Crawler und Scraper längst für dieselben Programme. „Scraper“ sagen meist die Betroffenen.
Trainings-Crawler (GPTBot, ClaudeBot von Anthropic, Meta-ExternalAgent, Bytespider von ByteDance, CCBot von Common Crawl) sammeln Trainingsdaten für künftige Modelle. Such-Crawler (OAI-SearchBot, Claude-SearchBot, PerplexityBot) füllen den Index, aus dem ChatGPT, Claude oder Perplexity ihre Antworten mit Quellenlinks belegen. Nutzer-Abrufe (englisch Fetcher, z. B. ChatGPT-User, Claude-User, Perplexity-User) laden eine einzelne Seite erst, wenn ein Mensch im Chat danach fragt oder einen Link einfügt. Website-Betreiber können jede dieser drei Bot-Arten einzeln sperren oder zulassen. (Hinweis: Verwechselbar mit llms.txt, einer Datei, die KI-Crawlern Inhalte anbietet. Die Steuerung der Crawler übernimmt die robots.txt.)
Laut Cloudflares Jahresrückblick entfielen 2025 im Schnitt 4,2 % aller Abrufe von HTML-Seiten im Cloudflare-Netz auf KI-Bots. Der Googlebot allein kam auf 4,5 %. Nach dem Cloudflare-Bericht vom Juli 2026 dienen mittlerweile 52 % aller Crawler-Anfragen dem KI-Training. Im Frühjahr 2025 waren es 22 %. Beim Netzwerkdienstleister Fastly wuchsen KI-Anfragen nach dessen Auswertung von Januar bis Mai 2026 6,5-mal schneller als menschlicher Verkehr. Im Mai 2026 stammten 85 % der KI-Anfragen von Crawlern, 15 % von Nutzer-Abrufen.
Seit Juli 2025 misst Cloudflare, was Website-Betreiber dafür zurückbekommen. Das Crawl-to-Refer-Verhältnis zählt Seitenabrufe je weitergeleitetem Besucher. Im Juli 2025 lag der Wert bei Anthropic bei 38.065 zu 1, bei OpenAI bei 1.091 zu 1 und bei Perplexity bei 195 zu 1. Die Google-Suche schickte laut dem Jahresrückblick 2025 pro 3 bis 30 Abrufe einen Besucher zurück. Der Lizenz-Vermittler TollBit zählte in seiner Auswertung von 3.906 Verlagen für das erste Halbjahr 2026 in Europa 179 Bot-Besuche je weitergeleitetem Menschen. Die Bots ignorieren die robots.txt europäischer Seiten fast dreimal so oft wie die nordamerikanischer.
Die Wikimedia Foundation berichtete im April 2025, dass Bots nur rund 35 % der Seitenaufrufe erzeugen, aber mindestens 65 % des teuersten Verkehrs. Anders als Menschen rufen sie auch selten gelesene Seiten ab, die in keinem Zwischenspeicher liegen. Bis März 2026 wies die Stiftung rund 30 % der Anfragen regelwidriger Crawler ab oder drosselte sie. An manchen Tagen sind das mehrere Milliarden Anfragen. Die Dokumentations-Plattform Read the Docs zahlte im Mai 2024 über 5.000 US-Dollar Bandbreite, nachdem ein einzelner Crawler 73 Terabyte gezippte HTML-Seiten geladen hatte. Open-Source-Projekte wie KDE und SourceHut meldeten im März 2025 Ausfälle ihrer Git-Server durch Crawler. SourceHut-Gründer Drew DeVault beschrieb in seinem Bericht Crawler aus Zehntausenden privaten IP-Adressen, die die robots.txt ignorierten.
Das Steuerungsinstrument ist seit 1994 die robots.txt, seit 2022 als Standard RFC 9309 festgeschrieben. RFC 9309 nennt seine Regeln selbst „not a form of access authorization“. Sie sind also keine Zugangskontrolle, nur eine Bitte. Ob sich ihre Bots daran halten, legen die Anbieter in eigenen Crawler-Dokumentationen fest. OpenAI führt GPTBot, OAI-SearchBot und ChatGPT-User als getrennt steuerbare Bots ein. Eine Seite, die OAI-SearchBot aussperrt, erscheint laut OpenAI nicht mehr in den Antworten der ChatGPT-Suche, höchstens noch als reiner Navigationslink. Anthropic sagt für alle drei Claude-Bots zu, die robots.txt zu beachten. Perplexity dagegen erklärt, dass Perplexity-User die robots.txt „generally ignores“, weil ein Nutzer den Abruf ausgelöst hat. Google formuliert dasselbe für seine nutzerausgelösten Abrufe, zu denen seit März 2026 auch der Agenten-Browser Google-Agent zählt.
Google-Extended ist kein eigener Crawler, sondern ein Kennzeichen in der robots.txt, mit dem Betreiber die Nutzung ihrer Seiten für das Training und das Grounding von Gemini untersagen. Laut Googles Crawler-Dokumentation hat Google-Extended keinen Einfluss auf die Aufnahme in die Google-Suche und ist kein Rankingsignal. Die Übersicht mit KI und der KI-Modus hängen am normalen Googlebot. Seit dem 31. August 2026 lässt sich die Teilnahme daran laut Googles Ankündigung in der Search Console unter „Generative KI in der Google Suche“ abschalten. Für das Training verweist Google weiter auf Google-Extended.
Weil die robots.txt freiwillig bleibt, verlagert sich die Durchsetzung zu Netzbetreibern und Hostern. Cloudflare blockiert KI-Crawler seit dem 1. Juli 2025 für neu angelegte Domains standardmäßig und bietet seit Juli 2026 drei getrennte Regler für Suche, Agenten und Training an. Bei AWS sperrt die Web Application Firewall mit der Bot-Control-Regel „CategoryAI“ auch verifizierte KI-Bots. Mit der Option „Disallow AI Training“ vom September 2026 dürfen Mehrzweck-Crawler wie Googlebot, Bingbot und Applebot weiter für die Suche crawlen, sollen die Daten aber nicht für das Training nutzen. Apple und Google halten diese Vorgabe laut Cloudflare bereits ein. Microsoft hat die Umsetzung für Anfang 2027 zugesagt. Cloudflare begründet den Schritt mit dem Satz „A robots.txt directive alone cannot solve this problem.“
Anubis, ein Open-Source-Programm von Xe Iaso, lässt den Browser vor dem Seitenaufruf eine kleine Rechenaufgabe lösen (Proof of Work), was Menschen Sekundenbruchteile und Massen-Crawler viel Rechenzeit kostet. GNOME, FFmpeg, die Linux-Kernel-Archive und die UNESCO setzen es ein. Tarpits (Teergruben) wie Nepenthes oder Iocaine locken Crawler in endlose Labyrinthe aus generierten Seiten. Bei Cloudflare heißt dasselbe AI Labyrinth.
Gegen getarnte Crawler hilft keine dieser Regeln. Der User-Agent, mit dem sich ein Bot vorstellt, ist frei wählbar. Cloudflare warf Perplexity im August 2025 vor, nach einer Sperre mit der Kennung eines Chrome-Browsers auf macOS und über wechselnde Netzadressen weiter zu crawlen. Betroffen waren Zehntausende Domains mit 3 bis 6 Millionen Anfragen am Tag. Perplexity wies das zurück und sprach von einem Drittdienst und einem „publicity stunt“. Ob ein Bot echt ist, zeigt nur der Abgleich mit den Adresslisten, die OpenAI, Anthropic, Google, Perplexity, Apple und Common Crawl als JSON-Dateien veröffentlichen. Für Bytespider von ByteDance gibt es weder eine Dokumentation noch eine Adressliste.
Rechtlich stützt sich das Crawling in der EU auf die Schranke für Text und Data Mining. § 44b UrhG erlaubt die Vervielfältigung rechtmäßig zugänglicher Werke zu diesem Zweck. Absatz 3 macht die Ausnahme davon abhängig, dass sich der Rechteinhaber die Nutzung nicht vorbehalten hat. Ein Vorbehalt „ist nur dann wirksam, wenn er in maschinenlesbarer Form erfolgt“. Was das heißt, verhandeln die Gerichte im Fall des Fotografen Robert Kneschke gegen den Datensatz-Verein LAION. Das OLG Hamburg wies die Berufung am 10. Dezember 2025 zurück. Der Kläger hatte nach Ansicht des Gerichts nicht dargelegt, dass ein Vorbehalt in gewöhnlicher Sprache in den Nutzungsbedingungen 2021 maschinenlesbar war. Der Bundesgerichtshof hat den Fall am 3. September 2026 verhandelt und will am 17. Dezember 2026 entscheiden. EuGH-Generalanwalt Maciej Szpunar hält in den Schlussanträgen zu Like Company gegen Google auch Nutzungsbedingungen in natürlicher Sprache für einen möglichen Vorbehalt. Bis dahin gilt die robots.txt als gängiger Weg, den Vorbehalt maschinenlesbar zu erklären. Der EU AI Act verpflichtet die Anbieter großer KI-Modelle in Artikel 53, solche Vorbehalte „auch durch modernste Technologien“ zu ermitteln und einzuhalten. Im Verhaltenskodex vom Juli 2025 sagen die unterzeichnenden Anbieter in dessen Urheberrechtskapitel zu, Crawler einzusetzen, die Anweisungen nach RFC 9309 lesen und befolgen. Seit dem 2. August 2026 kann die EU-Kommission Verstöße mit bis zu 3 % des weltweiten Jahresumsatzes oder 15 Millionen Euro ahnden.
Verlage und KI-Firmen haben seit 2023 nach Zählung von Cloudflare über 50 Lizenzverträge geschlossen, darunter OpenAI mit Axel Springer. Mit Really Simple Licensing (RSL), seit Dezember 2025 in Version 1.0, hinterlegen Betreiber Lizenzbedingungen und Preise direkt neben der robots.txt. Mit Pay per Crawl testet Cloudflare ein Modell, bei dem der Server einem nicht zahlenden Crawler den HTTP-Status 402 („Payment Required“) zurückgibt. Wer stattdessen gefunden werden will, optimiert seine Inhalte für die Antwortmaschinen, was unter Generative Engine Optimization läuft.
Kaum eine deutsche Website sperrt KI-Crawler selbst. Nach einer Ahrefs-Auswertung von 19.444 .de-Websites vom September 2026 sperren nur 2,43 % den GPTBot per robots.txt. Bei den großen Nachrichten- und Verlagsportalen im DACH-Raum sind es 61 %. Gleichzeitig blockieren mehrere deutsche Hoster Trainings-Crawler auf dem Server, ohne dass der Kunde etwas einstellt. Hetzner weist laut seiner Dokumentation GPTBot, ClaudeBot, Bytespider, Amazonbot und Meta-ExternalAgent im Webhosting und auf Managed Servern mit dem Fehlercode 403 ab. Ändern lässt sich die Liste nur per Support-Anfrage. Bei IONOS erhielten GPTBot und ClaudeBot im August 2025 in einigen Shared-Hosting-Paketen den Code 429, wie SEO Südwest berichtete und IONOS bestätigte. Beide Hoster lassen den Such-Crawler OAI-SearchBot durch.
Die Lastzahlen von Wikimedia und Read the Docs betreffen Archive mit Millionen Seiten. Ein Betrieb mit 20 bis 200 Unterseiten spürt die Abrufe kaum. Für ihn zählt die Sichtbarkeit. Wer „Heizung tauschen Dortmund Förderung“ in ChatGPT fragt, bekommt eine Antwort mit Quellenlinks. Dort erscheint nur, wer den OAI-SearchBot zulässt. Bei Perplexity gilt dasselbe für den PerplexityBot, bei der Google-Übersicht mit KI für den Googlebot. Der Trainings-Crawler GPTBot bringt dagegen keinen einzigen Besucher. Was er lädt, verschwindet im Modell. Daraus folgt eine Standardeinstellung für lokale Unternehmen. Trainings-Crawler sperren, Such-Crawler und Nutzer-Abrufe zulassen.
In der robots.txt genügen dafür zwei Zeilen pro Bot, z. B. User-agent: GPTBot gefolgt von Disallow: /, wiederholt für ClaudeBot, Meta-ExternalAgent, Bytespider, CCBot und Google-Extended. Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot und PerplexityBot bleiben ungenannt und damit erlaubt. OpenAI und Perplexity übernehmen Änderungen innerhalb von 24 Stunden. Künftig soll eine einzige Gruppe für mehrere Anbieter genügen. Mit User-Agent: __usage_ai-training und Disallow: / lässt sich das KI-Training per robots.txt bei OpenAI, Google, Microsoft und Anthropic auf einmal abwählen, Microsoft beachtet die Gruppe ab dem 1. Februar 2027. In WordPress erledigen das beliebte SEO‑Plugins wie Yoast oder Rank Math. All in One SEO hat im robots.txt-Editor einen Bereich „Block AI Crawlers“, Yoast SEO Premium die Funktion „Block unwanted bots“ für GPTBot, CCBot und Google-Extended. Rank Math bietet im erweiterten Modus einen Editor, in den die Zeilen von Hand kommen. Eine Pauschalsperre mit „User-agent: *“ und „Disallow: /“ sperrt dagegen alles, auch Google, und ist nach der Ahrefs-Auswertung für rund die Hälfte aller GPTBot-Sperren in der DACH-Stichprobe verantwortlich.
Läuft die Domain über Cloudflare, auch im kostenlosen Tarif, liegen die drei Regler für Suche, Agenten und Training in den Sicherheitseinstellungen. Beim Regler für Training gilt die Stellung „Block“ laut Cloudflare-Blog vom 15. September 2026 auch für Mehrzweck-Crawler. Cloudflare nennt Applebot, Bingbot und Googlebot. Wer dort blockiert, fällt aus der Google-Suche. Für neue Domains mit Werbung empfiehlt Cloudflare seit demselben Tag, die Suche zu erlauben, das Training per „Disallow AI Training“ auszuschließen und Agenten auf Werbeseiten zu blockieren. Mit dieser Einstellung bleibt der Googlebot zugelassen. Google verzichtet im Gegenzug auf das Training mit den Seiten.
Ob Crawler kommen, zeigt das Zugriffsprotokoll des Hosters (Access Log). Dort stehen die Kennungen GPTBot, ClaudeBot, PerplexityBot oder Bytespider im Klartext. Die Crawling-Statistik der Google Search Console zeigt dagegen nur Google-eigene Crawler. Google-Extended taucht nirgends auf, weil es kein Programm ist. Ob eine Sperre ungewollt wirkt, verrät ein Abruf der eigenen Startseite mit dem User-Agent eines Such-Crawlers. Antwortet der Server mit 403 oder 429, sperrt der Hoster, ein Plugin oder ein vorgeschalteter Dienst wie Cloudflare. Wer prüfen will, ob ein angeblicher GPTBot echt ist, vergleicht seine IP-Adresse mit der Liste, die OpenAI unter openai.com/gptbot.json veröffentlicht. Die Sperre wirkt nur nach vorn. Was ein Crawler vor der Änderung geladen hat, bleibt in den Trainingsdaten.
Umgekehrt setzen Unternehmen KI-Crawler selbst ein, meist ohne den Begriff zu kennen. Jede Recherche in Deep Research, jede Preisabfrage eines KI-Agenten beim Großhändler und jeder Link, den ein Mitarbeiter in ChatGPT oder Claude einfügt, laufen über einen Nutzer-Abruf wie ChatGPT-User oder Claude-User. Für die Gegenseite ist das derselbe Verkehr, über den sich Wikimedia und die Hoster beschweren. Ein Unternehmen, das seine Lieferanten-Portale per Agent abfragt, bewegt sich im Rahmen eines BGH-Urteils von 2014 zum Auslesen von Flugpreisen. Danach ist das automatische Auslesen frei zugänglicher Daten wettbewerbsrechtlich zulässig, solange keine technische Schutzmaßnahme umgangen wird.