AI-Bots in robots.txt prüfen.

Q: Muss ich alle KI-Bots erlauben?

Nein. Such-/Quellenzugang und Training können bewusst unterschiedlich geregelt werden.

Q: Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?

GPTBot wird dem Training zugeordnet, OAI-SearchBot dem Abruf für Such- und Antwortfunktionen.

Q: Führt eine Freigabe automatisch zu mehr Sichtbarkeit?

Nein. Sie beseitigt lediglich eine technische Zugriffssperre.

Q: Werden JavaScript-Inhalte geprüft?

robots.txt regelt den Abruf. Ob Inhalte ohne JavaScript lesbar sind, wird in ergänzenden Sichtbarkeitsprüfungen bewertet.

Q: Halten sich KI-Bots überhaupt an die robots.txt?

Die großen Anbieter (OpenAI, Anthropic, Google, Perplexity) dokumentieren die Einhaltung öffentlich und halten sich nachweislich daran. Einzelne kleinere Crawler ignorieren Regeln — dagegen helfen nur serverseitige Sperren.

Sehen ChatGPT, Perplexity & Google-AI Ihre Website?

✓ Sichtbare Belege
✓ Klare Prioritäten
✓ Ergebnis im Browser

teil1.com/tools Sicherer Website-Check

Website jetzt prüfen

Welche Seite sollen wir analysieren?

Nur lesender Zugriff auf öffentlich erreichbare Inhalte — keine Installation und kein CMS-Zugang.

✓ Sichtbare Belege
✓ Klare Prioritäten
✓ Ergebnis im Browser

✓ Einzel-URL✓ Desktop + Mobil✓ Methodik sichtbar

300 von 300 Tokens heute · 100 Tokens je Check

Der Check zeigt, welche Such-, Antwort- und Trainingsbots Inhalte laut robots.txt abrufen dürfen. Dadurch wird klar, ob KI-Sichtbarkeit technisch möglich ist und wo Regeln unbeabsichtigt den Zugang sperren.

Bots sauber zuordnen

Mehr als 15 relevante Crawler werden nach Suche, Retrieval und Training verständlich gruppiert.

Regeln nachvollziehen

Direkte Vorgaben, Wildcards und geerbte Gruppen werden bis zur tatsächlich wirksamen Regel aufgelöst.

Zugang bewusst steuern

Erlaubte und blockierte Zugriffe werden getrennt bewertet, ohne daraus Rankings oder Zitate abzuleiten.

Das zeigt der Bericht konkret.

Sie erkennen getrennt, welche KI-Dienste Ihre Inhalte für Suche, Antworten oder Training abrufen dürfen und welche robots.txt-Regel dafür verantwortlich ist.