Prüfverfahren · Erweitertes Verfahren von teil1

Prüfverfahren KI-Crawler-Steuerung

Grundlage aller Gutachten der KI-Crawler-Steuerung in der robots.txt von teil1 – Maßstab: Technische Prüfung der robots.txt auf Gültigkeit und auf explizite Regeln für KI-Crawler (GPTBot, ClaudeBot, Google-Extended, PerplexityBot u. a.) sowie deren Wirkung auf die Sichtbarkeit in KI-Systemen.

Maßstab
robots.txt · KI-Crawler
Prüfpunkte
13 im Bewertungsumfang
Prüfengines
3
Turnus
vierteljährlich

Prüfumfang

  • Erreichbarkeit und Syntax der robots.txt
  • Explizite Regeln für bekannte KI-Crawler
  • Sitemap-Verweis und Crawl-Steuerung für klassische Suchmaschinen
  • Wirkung der Regeln auf Auffindbarkeit in KI-Antworten

Eingesetzte Prüfengines 3

Jedes Gutachten dieser Prüfart entsteht aus denselben Prüfschritten in derselben Reihenfolge. Browser-basierte Schritte laufen in einem Chromium-Kontext mit realistischem Viewport; alle Messwerte werden zum Prüfzeitpunkt erhoben.

  1. Seitenabruf

    Abruf der Seite mit vollständiger Weiterleitungskette: Statuscode, ausgelieferte Adresse, Erkennung von Bot-Schutz. Grundlage aller weiteren Prüfschritte.

  2. Technik-Erkennung

    Erkennung von Content-Management-System, Shopsystem, Consent-Management-Plattform, Analyse- und Marketing-Diensten sowie Hosting-Hinweisen aus Quelltext und Antwort-Headern.

  3. robots.txt

    Erreichbarkeit und Syntax der robots.txt, Sitemap-Verweis, Regeln für klassische Suchmaschinen und bekannte KI-Crawler.

Kriterienkatalog 13

Diese Abweichungen kann das Verfahren erkennen. Jedes Gutachten weist aus, welche davon auf der geprüften Seite zutreffen, welche erfüllt sind und welche Kriterien manuell zu prüfen bleiben.

  • kritischGooglebot ist blockiert
  • kritischWebsite blockiert alle Crawler
  • mittelrobots.txt hinter der Bot-Prüfung
  • mittelrobots.txt nicht abrufbar
  • geringKein Sitemap-Verweis in der robots.txt
  • geringKeine robots.txt gefunden
  • geringVeraltete noindex-Direktive in robots.txt
  • geringrobots.txt liefert HTML statt Regeln
  • Hinweisrobots.txt vorhanden und auswertbar

Bewertung

Das Ergebnis ist eine Punktzahl von 0 bis 100. Jede erkannte Abweichung mindert den Wert nach ihrer Schwere; Kriterien außerhalb des Bewertungsumfangs und manuell zu prüfende Punkte fließen nicht ein.

  • Sehr gut95 – 100 Punkte

    Im Bewertungsumfang wurden keine oder nur geringfügige Abweichungen festgestellt.

  • Gut – mit Hinweisen75 – 94 Punkte

    Einzelne Prüfpunkte weichen ab; die Hinweise sind im Gutachten priorisiert ausgewiesen.

  • Handlungsbedarf0 – 74 Punkte

    Mehrere oder schwerwiegende Abweichungen; eine Überarbeitung ist technisch angezeigt.

Turnus, Verlauf und Einordnung

Gutachten werden vierteljährlich automatisch neu erhoben. Die Adresse eines Gutachtens bleibt dabei gleich; Ergebnis, Datum und Befunde werden fortgeschrieben, frühere Prüfstände bleiben im Verlauf sichtbar. Das Prüfsiegel auf der geprüften Website zeigt immer den aktuellen Stand.

Alle Gutachten dieser Prüfart sind das Ergebnis einer technischen Prüfung durch automatisierte Prüfverfahren von teil1 zum jeweils angegebenen Zeitpunkt. Sie dokumentieren den technischen Zustand der geprüften Seite anhand des genannten Maßstabs. Sie sind keine Rechtsberatung, keine Konformitätsbescheinigung und ersetzen keine rechtliche Bewertung; einzelne Kriterien erfordern eine manuelle Prüfung und sind entsprechend ausgewiesen.

Eigene Website prüfen