Prüfverfahren · Erweitertes Verfahren von teil1

Prüfverfahren KI-Crawler-Steuerung

Grundlage aller Gutachten der KI-Crawler-Steuerung in der robots.txt von teil1 – Maßstab: Technische Prüfung der robots.txt nach RFC 9309 auf Gültigkeit und auf Regeln für KI-Crawler (GPTBot, ClaudeBot, Google-Extended, PerplexityBot u. a.) je Zweck (KI-Suche, Abruf auf Nutzerwunsch, Training), ergänzt um eine Server-Stichprobe mit KI-Kennungen und die Seitensignale noindex und nosnippet.

Maßstab
robots.txt · KI-Crawler
Prüfpunkte
24 im Bewertungsumfang
Prüfengines
3
Turnus
vierteljährlich

Prüfumfang

  • Erreichbarkeit und Syntax der robots.txt
  • Regeln für 20 bekannte Crawler, getrennt nach KI-Suche, Nutzer-Abruf, Training und klassischer Suche
  • Sitemap-Verweis und Crawl-Steuerung für klassische Suchmaschinen
  • Stichprobe, ob Server oder Firewall Abrufe mit KI-Kennung trotz Freigabe abweisen

Eingesetzte Prüfengines 3

Jedes Gutachten dieser Prüfart entsteht aus denselben Prüfschritten in derselben Reihenfolge. Browser-basierte Schritte laufen in einem Chromium-Kontext mit realistischem Viewport; alle Messwerte werden zum Prüfzeitpunkt erhoben.

  1. Seitenabruf

    Abruf der Seite mit vollständiger Weiterleitungskette: Statuscode, ausgelieferte Adresse, Erkennung von Bot-Schutz. Grundlage aller weiteren Prüfschritte.

  2. Technik-Erkennung

    Erkennung von Content-Management-System, Shopsystem, Consent-Management-Plattform, Analyse- und Marketing-Diensten sowie Hosting-Hinweisen aus Quelltext und Antwort-Headern.

  3. robots.txt

    Erreichbarkeit und Syntax der robots.txt, Sitemap-Verweis, Regeln für klassische Suchmaschinen und bekannte KI-Crawler.

Kriterienkatalog 24

Diese Abweichungen kann das Verfahren erkennen. Jedes Gutachten weist aus, welche davon auf der geprüften Seite zutreffen, welche erfüllt sind und welche Kriterien manuell zu prüfen bleiben.

  • kritischGooglebot ist blockiert
  • kritischWebsite blockiert alle Crawler
  • kritischrobots.txt liefert einen Serverfehler
  • schwerwiegendSeite ist auf noindex gesetzt
  • mittelBot-Schutz verhindert die Prüfung der robots.txt
  • mittelrobots.txt hinter der Bot-Prüfung
  • mittelrobots.txt nicht abrufbar
  • geringAbruf der robots.txt wird verweigert
  • geringKein Sitemap-Verweis in der robots.txt
  • geringVeraltete noindex-Direktive in robots.txt
  • geringZeilen in der robots.txt wirken nicht wie gedacht
  • geringrobots.txt liefert HTML statt Regeln
  • HinweisKeine robots.txt gefunden
  • Hinweisrobots.txt vorhanden und auswertbar

Bewertung

Das Ergebnis ist eine Punktzahl von 0 bis 100. Jede erkannte Abweichung mindert den Wert nach ihrer Schwere; Kriterien außerhalb des Bewertungsumfangs und manuell zu prüfende Punkte fließen nicht ein.

  • Sehr gut95 – 100 Punkte

    Im Bewertungsumfang wurden keine oder nur geringfügige Abweichungen festgestellt.

  • Gut – mit Hinweisen75 – 94 Punkte

    Einzelne Prüfpunkte weichen ab; die Hinweise sind im Gutachten priorisiert ausgewiesen.

  • Handlungsbedarf0 – 74 Punkte

    Mehrere oder schwerwiegende Abweichungen; eine Überarbeitung ist technisch angezeigt.

Turnus, Verlauf und Einordnung

Gutachten werden vierteljährlich automatisch neu erhoben. Die Adresse eines Gutachtens bleibt dabei gleich; Ergebnis, Datum und Befunde werden fortgeschrieben, frühere Prüfstände bleiben im Verlauf sichtbar. Das Prüfsiegel auf der geprüften Website zeigt immer den aktuellen Stand.

Alle Gutachten dieser Prüfart sind das Ergebnis einer technischen Prüfung durch automatisierte Prüfverfahren von teil1 zum jeweils angegebenen Zeitpunkt. Sie dokumentieren den technischen Zustand der geprüften Seite anhand des genannten Maßstabs. Sie sind keine Rechtsberatung, keine Konformitätsbescheinigung und ersetzen keine rechtliche Bewertung; einzelne Kriterien erfordern eine manuelle Prüfung und sind entsprechend ausgewiesen.

Eigene Website prüfen