Cloudflare trennt AI-Training von der Websuche
Die technische Änderung
- Cloudflare ersetzt „Block AI Bots“ durch getrennte Regeln für Search, Training und Agent-Traffic.
- „Disallow AI Training“ lehnt Modelltraining ab, ohne Googlebot und Applebot zugleich für Search zu sperren.
- Ein hartes „Block“ kann Mixed-Use-Crawler vollständig abweisen und damit auch Search treffen.
- Die Migration läuft seit dem 15. September 2026 in allen Tarifen.
Stand: 16.09.2026, 11:00 Uhr
Cloudflare informiert betroffene Betreiber derzeit per E-Mail: Ihre Regeln für AI-Crawler werden umgestellt. Was wie eine kleine Änderung im Dashboard klingt, betrifft die grundlegende Frage, wer Website-Inhalte für welchen Zweck abrufen darf.
AI-Crawler sind kaum standardisiert: Manche Unternehmen trennen Search und Training, andere verwenden denselben Bot. Angaben in der robots.txt sind freiwillig. Cloudflare übersetzt dieses Chaos in Kategorien und Regeln, die am eigenen Netzwerk durchgesetzt werden können.
Das betrifft jeden, der Website-Inhalte veröffentlicht. Reichweite, Schutz vor Modelltraining, Zugang für AI-Agenten und Werbefinanzierung erfordern unterschiedliche Einstellungen. Pauschales Erlauben oder Blockieren wird diesen Zielen nicht gerecht.
Cloudflare ersetzt deshalb „Block AI Bots“ durch Regeln für Search, Training und Agent-Traffic. Mit „Disallow AI Training“ lässt sich Modelltraining ablehnen, ohne Googlebot und Applebot für Search zu sperren. Ein hartes „Block“ kann diese Crawler vollständig abweisen. Die Migration läuft seit dem 15. September, auch im Free-Tarif.
Warum Cloudflare in dieser Frage so wichtig ist
Cloudflare betreibt DNS-, Auslieferungs- und Schutzdienste für Websites. Bei aktivem Proxy läuft eine Anfrage zuerst durch sein Netzwerk. Nach eigener Angabe schützt oder beschleunigt das Unternehmen mehr als 20 Prozent der Web-Domains.
Verantwortliche wissen davon nicht immer, wenn ein Hoster, eine Agentur oder ein früherer Administrator den Dienst verwaltet. Ohne Kontozugriff sehen sie auch die Einstellungen nicht.
Cloudflare will Inhalteanbietern Kontrolle geben – besonders Verlagen und werbefinanzierten Websites. Zugleich positioniert es sich mit Bot Management, Bot Preference Sync und Pay per Crawl als Kontrollschicht zwischen Websites und AI-Unternehmen. Cloudflare ist dabei Anbieter, kein neutraler Standardsetzer.
Was sich jetzt ändert
Cloudflare unterscheidet automatisierte Zugriffe künftig nach ihrem Zweck:
- Search: baut einen Index für spätere Suchergebnisse oder Antworten auf.
- Training: sammelt Inhalte zum Trainieren oder Feinabstimmen eines Modells.
- Agent: ruft eine Seite aktuell im Auftrag eines Menschen auf.
Das Problem sind Crawler mit mehreren Zwecken. Googlebot, Applebot und Bingbot werden laut Cloudflare sowohl für Search als auch für Training eingesetzt. Wer sie technisch blockiert, kann deshalb auch die Auffindbarkeit in den zugehörigen Suchdiensten beeinträchtigen.
Die neue Einstellung „Disallow AI Training“ veröffentlicht passende No-Training-Anweisungen in der robots.txt. Als „Accountable“ eingestufte Mixed-Use-Crawler bleiben für Search zugelassen. Andere Training-Crawler blockiert Cloudflare am Netzwerk.
Wichtig ist die Abgrenzung zu „Block“: Seit dem 15. September gelten „Block“ und „Block on pages with ads“ auch für Mixed-Use-Crawler. Ein hartes Block bei Training kann daher Googlebot, Bingbot und Applebot einschließlich Search abweisen. Die Website verschwindet dadurch nicht sofort aus jeder Suche. Die betroffenen Dienste können Seiten aber nicht mehr regulär crawlen und aktualisieren.
Wer Training ablehnen und Search erhalten will, sollte „Disallow AI Training“ statt „Block“ wählen.
Wie Cloudflare bestehende Einstellungen überträgt
Cloudflare unterscheidet bei der Migration drei Fälle:
Alter Schalter war nie aktiv
Search, Training und Agent bleiben erlaubt.
Alter Schutz war aktiv
Cloudflare setzt Search auf Allow, Training auf Disallow AI Training und Agent auf Block on pages with ads.
Kategorien waren bereits getrennt
Search und Agent behalten ihre bisherige Einstellung. Ein bisheriges Block oder Block on pages with ads bei Training wird auf Disallow AI Training umgestellt.
Cloudflare erhält damit die bisherige Wirkung: Aus einer bestehenden Training-Sperre soll nicht unbeabsichtigt eine Search-Sperre werden.
Für neue werbefinanzierte Domains empfiehlt Cloudflare Search Allow, Training Disallow AI Training und Agent Block on pages with ads. Ohne Werbefinanzierung bleiben zunächst alle Kategorien erlaubt.
Was Sie jetzt konkret einstellen sollten
Öffnen Sie im Cloudflare-Dashboard die Domain und dann Security Settings → Configure AI bot policies. Falls ein Dienstleister Cloudflare verwaltet, klären Sie, wer Zugriff auf das Konto hat.
Entscheiden Sie danach jede Kategorie anhand ihres Zwecks:
Search
Allow, wenn Ihre Inhalte von Suchdiensten gecrawlt werden sollen. Block nur, wenn dieser Zugriff ausdrücklich unerwünscht ist.
Training
Allow, wenn Modelltraining erlaubt ist. Disallow AI Training, wenn Sie Training ablehnen, Search für kooperierende Mixed-Use-Crawler aber zulassen wollen. Block nur, wenn dadurch auch Search-Zugriffe ausfallen dürfen.
Agent
Allow, wenn nutzergesteuerte Assistenten zugreifen dürfen. Für werbefinanzierte Seiten kommt Block on pages with ads infrage. Block sperrt Agenten auf der gesamten Domain.
Mit unserem kostenlosen AI-Bot-Check für die robots.txt sehen Sie, welche bekannten Crawler Ihre Datei zulässt oder ausschließt. Cloudflares interne Edge-Regeln kann der Check von außen nicht auslesen.
Zwei wichtige Grenzen
Google kann Training über Google-Extended von der Suche trennen, Apple über Applebot-Extended. Microsoft unterstützt das domainweite No-Training-Signal in der robots.txt laut Cloudflare voraussichtlich erst Anfang 2027.
Außerdem ist ein Trainings-Opt-out kein automatisches Opt-out aus AI Overviews oder anderen suchbasierten Zusammenfassungen. Training, Suchindex, AI-Zusammenfassungen und Agent-Zugriffe bleiben getrennte Entscheidungen.
Die neue Auswahl ist präziser als ein pauschaler AI-Schalter, hängt aber von Cloudflares Bot-Klassifizierung und der Kooperation der Betreiber ab. Entscheiden Sie deshalb jede Kategorie nach Ihrem Geschäftsmodell, statt einfach möglichst viel zu blockieren.
