Dürfen ChatGPT & Co. Ihre Website lesen?
Sie sehen, welche KI-Dienste Ihre Website laut robots.txt lesen, als Quelle nutzen oder für ihr Training verwenden dürfen.
- ✓ Sichtbare Belege
- ✓ Klare Prioritäten
- ✓ Ergebnis im Browser
Welche Seite sollen wir analysieren?
Nur lesender Zugriff auf öffentlich erreichbare Inhalte — keine Installation und kein CMS-Zugang.
- ✓ Sichtbare Belege
- ✓ Klare Prioritäten
- ✓ Ergebnis im Browser
So funktioniert’s.
Adresse eingeben
Tragen Sie oben die URL der Seite ein, die Sie prüfen möchten. Eine Anmeldung ist nicht nötig.
Check läuft
Der Check liest Ihre robots.txt, ermittelt für 20 Bots die Regel, die tatsächlich gilt, und ruft Ihre Seite per Stichprobe mit KI-Kennungen ab.
Ergebnis nutzen
Sie sehen, was passt und was fehlt, mit Belegen und einer klaren Reihenfolge für die nächsten Schritte.
Das prüft der Check.
KI-Dienste greifen aus unterschiedlichen Gründen auf Websites zu: um Quellen für Antworten zu finden, um eine Seite für eine konkrete Frage zu öffnen oder um Material für ihr Training zu sammeln. Sie sehen für jeden Zweck getrennt, ob der Zugang offen ist, und erhalten für Ihr Ziel die passende robots.txt.
Zugriffe nach Zweck
20 wichtige Crawler, verständlich gruppiert nach KI-Suche, Abruf auf Nutzerwunsch, Training und klassischer Suche.
Regeln wie Google lesen
Doppelte Gruppen, Wildcards und Sonderfälle werden bis zur gültigen Regel aufgelöst, veraltete Bot-Namen und fehlerhafte Zeilen markiert.
Zugang bewusst steuern
Wählen Sie Ihr Ziel und erhalten Sie die passende robots.txt, abgeleitet aus Ihrer eigenen Datei. Eine Stichprobe zeigt, ob Ihr Server Abrufe mit KI-Kennung abweist.
Kostenlos starten.
Dieser Check kostet 100 Tokens. Ohne Anmeldung erhalten Sie jeden Tag 300 Tokens gratis.
KI-Zugang verständlich erklärt
Nicht jeder KI-Zugriff ist gleich
„Die KI liest meine Website“ kann sehr Verschiedenes bedeuten: Quellen für Antworten suchen, eine Seite für eine konkrete Frage öffnen oder Texte für das Training neuer Modelle sammeln. Jeder Anbieter schickt dafür eigene Bots, und jeden davon können Sie in der robots.txt einzeln erlauben oder sperren. Die Frage ist also nicht „KI ja oder nein“, sondern: Wofür darf welcher Dienst Ihre Inhalte verwenden?
Mehr im Lexikon:robots.txtGEO (Generative Engine Optimization)
Vier Arten von Zugang und was eine Sperre bewirkt
Die Bots lassen sich nach ihrem Zweck ordnen. Für jede Gruppe hat eine Sperre andere Folgen für Ihre Website und Ihre Inhalte:
- KI-Suche (z. B. OAI-SearchBot, PerplexityBot, Claude-SearchBot): findet Quellen, die ChatGPT, Perplexity oder Claude in Antworten nennen und verlinken. Gesperrt erscheint Ihre Website dort nicht mehr als Quelle.
- Abruf auf Nutzerwunsch (z. B. ChatGPT-User, Perplexity-User): öffnet eine Seite, wenn jemand den Assistenten gezielt danach fragt. Gesperrt kann er Ihre Seite für diese Frage nicht lesen; manche Anbieter halten sich bei solchen Abrufen allerdings nicht immer an die robots.txt.
- Training (z. B. GPTBot, ClaudeBot, CCBot, Google-Extended): sammelt Texte, mit denen künftige KI-Modelle trainiert werden, meist ohne Quellenangabe. Gesperrt werden Ihre Inhalte künftig nicht mehr eingesammelt; Ihre Sichtbarkeit in der Google-Suche und in KI-Suchdiensten bleibt unberührt, bereits gesammelte Daten werden nicht entfernt. Google-Extended regelt zusätzlich, ob die Gemini-App Ihre Seiten als Quelle nutzt.
- Klassische Suche (Googlebot, Bingbot): baut den Suchindex auf, aus dem auch die KI-Übersichten in Google und Copilot schöpfen. Gesperrt verschwindet Ihre Website aus der normalen Suche, das ist fast immer ein Fehler.
Typische Entscheidungen auf einen Blick
Die meisten Websites wählen eine dieser drei Varianten:
- Alles offen: maximale Reichweite in Suche und KI-Antworten, Inhalte können auch ins Training einfließen
- Suche offen, Training gesperrt: in KI-Antworten zitierbar bleiben, Inhalte aber nicht für Modelle hergeben
- KI komplett gesperrt: nur noch klassische Suche, dafür keine Nennung in ChatGPT, Perplexity & Co.
Was nach dem Zugang zählt
Ein offener Zugang ist die Voraussetzung, aber noch keine Garantie. Ob KI-Systeme Sie zitieren, hängt von weiteren Faktoren ab: Inhalte, die ohne JavaScript lesbar sind, klare Autorschaft, strukturierte Daten und Tempo. Strukturierte Daten prüft der Schema-Check, das Tempo der Website-Check.
Häufige Fragen.
Muss ich alle KI-Bots erlauben?
Nein. Den Zugang für Suche und Antworten können Sie anders regeln als den für Training. Viele Websites lassen die KI-Suche zu und sperren das Training.
Verliere ich Sichtbarkeit, wenn ich KI-Training sperre?
Nein. Trainings-Bots und Such-Bots sind getrennt. Wer GPTBot oder Google-Extended sperrt, bleibt in Google, in der ChatGPT-Suche und in Perplexity weiterhin auffindbar, solange die Such-Bots erlaubt sind. Einzige Ausnahme: Mit Google-Extended entfällt auch die Nutzung als Quelle in der Gemini-App.
Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?
GPTBot sammelt Material für das Training der OpenAI-Modelle. OAI-SearchBot findet Quellen für die Suche in ChatGPT, über die Ihre Seite verlinkt werden kann.
Welche Fehler findet der Check häufig?
Ein pauschales „Disallow: /“ für alle Bots, eine gesperrte KI-Suche, obwohl die Website in KI-Antworten auftauchen soll, Regeln für Bot-Namen, die es so nicht gibt (etwa „anthropic-ai“), fehlerhafte Zeilen und Server, die Abrufe mit KI-Kennung trotz Freigabe abweisen.
Prüft der Check auch meine Firewall?
Per Stichprobe: Er ruft Ihre Seite zusätzlich mit der Kennung einzelner KI-Bots ab, die laut robots.txt zugreifen dürfen. Weist Ihr Server sie ab, sehen Sie das im Ergebnis. Der Abruf kommt nicht von den Servern der Anbieter, echte Bots können deshalb anders behandelt werden.
Führt eine Freigabe automatisch zu mehr Sichtbarkeit?
Nein. Sie entfernt nur eine technische Zugriffssperre.
Werden JavaScript-Inhalte geprüft?
Nicht in diesem Check: robots.txt regelt nur den Abruf. Ob Inhalte ohne JavaScript lesbar sind, bewerten ergänzende Sichtbarkeitsprüfungen.
Halten sich KI-Bots überhaupt an die robots.txt?
Die großen Anbieter wie OpenAI, Anthropic, Google und Perplexity dokumentieren öffentlich, dass ihre Such- und Trainings-Bots die Regeln einhalten. Abrufe auf direkten Nutzerwunsch und einzelne kleinere Crawler sind davon teils ausgenommen; dagegen helfen nur Sperren auf dem Server.
Was ist Google-Extended?
Ein eigener Steuerungs-Token. Er regelt, ob Google Ihre Inhalte für das Training seiner Gemini-Modelle und als Quelle in der Gemini-App nutzen darf. Der normale Googlebot für das Suchranking und die KI-Übersichten in der Google-Suche ist davon nicht betroffen.
Was bedeutet Content-Signal in meiner robots.txt?
Eine Angabe, die Cloudflare für viele Websites setzt. Sie erklärt, ob Inhalte für Suche, KI-Antworten oder Training genutzt werden dürfen. Das ist eine Erklärung, keine technische Sperre. Der Check zeigt sie an und meldet, wenn sie Ihren Regeln widerspricht.
Kann ich einzelne Bereiche nur für KI sperren?
Ja. Regeln in der robots.txt gelten je Bot und Pfad. So kann etwa der Blog für alle offen sein, Preislisten aber nur für die klassische Suche.
Was das Ergebnis nicht behauptet
Der Check bewertet die Abrufregeln in der robots.txt und prüft per Stichprobe, ob Ihr Server Abrufe mit KI-Kennung abweist; die Stichprobe kommt nicht von den Servern der Anbieter. Ob Inhalte tatsächlich zitiert, gerankt, für Training genutzt oder in KI-Antworten aufgenommen werden, zeigt er nicht.
Website umfassend prüfen
Infrastruktur
Website-Technologie erkennen
Structured Data
Schema-Markup prüfen
Pflichtangaben
Impressum prüfen
Verbraucherrecht
Widerrufsbutton prüfen
DSGVO
Datenschutzerklärung prüfen
Consent
Cookie-Banner & Tracker prüfen
Accessibility
Barrierefreiheit / BFSG prüfen
Bilder-SEO
Alt-Texte prüfen
E-Commerce
Shopify-Store prüfen
E-Commerce