Index und Noindex sind Meta-Robots-Direktiven, die auf Seitenebene steuern, ob eine URL in den Suchmaschinen-Index aufgenommen werden soll. Sie werden als Meta-Tag im HTML-Head oder als X-Robots-Tag im HTTP-Header implementiert und bieten granularere Kontrolle als die robots.txt.
Bedeutung
Nicht jede Seite einer Website gehört in den Google-Index. Suchergebnisseiten, Filterseiten in Shops, Danke-Seiten, Tag-Archive oder interne Vorschauseiten erzeugen Duplicate Content und verschwenden Crawl-Budget. Ein gezieltes Noindex-Tagging hält den Index sauber und konzentriert die Ranking-Signale auf die relevanten Seiten.
Funktionsweise
Die Implementierung erfolgt über <meta name=“robots“ content=“noindex“> im HTML-Head oder den HTTP-Header X-Robots-Tag: noindex. Wichtig: Eine Seite mit noindex darf nicht gleichzeitig per robots.txt blockiert werden — der Crawler muss die Seite laden können, um die Noindex-Direktive zu lesen. Kombinationen wie noindex, follow erlauben Google, den Links auf der Seite zu folgen, ohne die Seite selbst zu indexieren.
Verwandte Begriffe
- robots.txt: Steuert das Crawling auf Verzeichnisebene, ergänzend zum seitenspezifischen Noindex.
- Canonical Tag: Alternative bei Duplicate Content — konsolidiert statt deindexiert.
- Technical SEO: Index-Management ist ein Kernbereich der technischen SEO.