Prüft, ob ChatGPT, Claude und Perplexity Ihre Inhalte für Antworten lesen dürfen.
KI-Sichtbarkeit · Check 03
AI-Bots in robots.txt prüfen.
Sehen ChatGPT, Perplexity & Google-AI Ihre Website?
- ✓ Feste Kriterien und nachvollziehbare Methodik
- ✓ Screenshots, Messwerte und priorisierte Empfehlungen
- ✓ Vollständiges Ergebnis direkt im Browser
tools.teil1.com/ai-bots-robots-txt Sicherer Website-Check
Website jetzt prüfen
Welche Seite sollen wir analysieren?
Nur lesender Zugriff auf öffentlich erreichbare Inhalte — keine Installation und kein CMS-Zugang.
Der Bericht
Messwerte, die sich erklären.
Keine pauschale Ampel: Jeder Befund zeigt Quelle, Auswirkung und die nächste sinnvolle Maßnahme.
Echter BrowserDesktop + MobilMethodik sichtbar
Was wird geprüft?
AI-Bots in robots.txt prüfen – verständlich erklärt.
Der AI-Bot-Check wertet robots.txt-Regeln getrennt für KI-Suche, KI-Assistenten und Trainings-Bots aus. So wird sichtbar, ob Inhalte als Quelle abrufbar sind oder bewusst ausgeschlossen werden.
Zugang ist nicht dasselbe wie Sichtbarkeit: Eine erlaubte robots.txt garantiert weder Erwähnungen noch Rankings in ChatGPT, Perplexity, Google oder anderen Systemen.
Messumfang
Diese Bereiche werden sichtbar.
- 01Googlebot und klassische Suche
- 02KI-Suchbots
- 03Assistenten und Retrieval-Bots
- 04Trainings-Bots
Wissen & Rechtslage
Drei Bot-Kategorien, drei strategische Entscheidungen
KI-Crawler sind keine homogene Gruppe. Such- und Antwort-Bots (OAI-SearchBot, PerplexityBot, Google-Extended für AI Overviews) rufen Inhalte ab, um sie in Antworten zu zitieren — wer hier sperrt, verzichtet auf Reichweite in KI-Antworten. Assistenz- und Retrieval-Bots (ChatGPT-User, ClaudeBot bei Nutzeranfragen) holen Inhalte live, wenn ein Nutzer explizit nach einer Seite fragt. Trainings-Bots (GPTBot, CCBot, Meta-ExternalAgent) sammeln Material für das Modelltraining — hier geht es um die grundsätzliche Frage, ob eigene Inhalte in Trainingsdaten einfließen sollen.
Der Check ordnet über 15 relevante Bots diesen Kategorien zu und zeigt für jeden einzeln, was die aktuelle robots.txt erlaubt oder verbietet — inklusive der Regeln, die durch Wildcards oder Gruppen-Anweisungen indirekt wirken.
Praxis & Methodik
Typische robots.txt-Fehler mit großer Wirkung
Die häufigsten Probleme aus unseren Prüfungen: ein pauschales „Disallow: /“ für alle User-Agents, das versehentlich auch Google aussperrt; Regeln für längst umbenannte Bots; Sperren für KI-Suche bei gleichzeitigem Wunsch nach KI-Sichtbarkeit; und syntaktische Fehler, durch die Regeln wirkungslos bleiben — etwa fehlende Leerzeilen zwischen Gruppen oder falsch geschriebene User-Agent-Namen.
Der Bericht zeigt die relevanten Zeilen der robots.txt im Original, erklärt ihre Wirkung je Bot und liefert eine konkrete Empfehlung, wie die Datei für die gewünschte Strategie aussehen sollte.
Praxis & Methodik
Sichtbar werden in KI-Antworten: was nach dem Zugang zählt
Der robots.txt-Zugang ist die Eintrittskarte, nicht die Bühne. Ob KI-Systeme eine Quelle tatsächlich zitieren, hängt von weiteren Faktoren ab: klar strukturierte, ohne JavaScript lesbare Inhalte, eindeutige Autorschaft und Aktualität, strukturierte Daten und thematische Autorität. Systeme wie Perplexity bevorzugen nachweislich Seiten mit sauberer Inhaltsstruktur und schnellen Antwortzeiten.
Deshalb gehört dieser Check in eine Reihe mit dem Sichtbarkeits-Check: Erst den Zugang klären, dann die inhaltliche und technische Lesbarkeit optimieren.
Häufige Fragen
Vor dem ersten Check.
Muss ich alle KI-Bots erlauben?
Nein. Such-/Quellenzugang und Training können bewusst unterschiedlich geregelt werden.
Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?
GPTBot wird dem Training zugeordnet, OAI-SearchBot dem Abruf für Such- und Antwortfunktionen.
Führt eine Freigabe automatisch zu mehr Sichtbarkeit?
Nein. Sie beseitigt lediglich eine technische Zugriffssperre.
Werden JavaScript-Inhalte geprüft?
robots.txt regelt den Abruf. Ob Inhalte ohne JavaScript lesbar sind, wird in ergänzenden Sichtbarkeitsprüfungen bewertet.
Halten sich KI-Bots überhaupt an die robots.txt?
Die großen Anbieter (OpenAI, Anthropic, Google, Perplexity) dokumentieren die Einhaltung öffentlich und halten sich nachweislich daran. Einzelne kleinere Crawler ignorieren Regeln — dagegen helfen nur serverseitige Sperren.
Was ist Google-Extended?
Ein eigener Steuerungs-Token: Er regelt, ob Inhalte für Googles KI-Produkte (Gemini, AI Overviews) genutzt werden dürfen — unabhängig vom normalen Googlebot, der fürs Suchranking weiter zugreifen darf.
Kann ich einzelne Bereiche nur für KI sperren?
Ja. robots.txt-Regeln gelten je User-Agent und Pfad — etwa Blog offen für alle, Preislisten nur für klassische Suche.