TL;DR: Blockieren Sie keine nicht-kanonischen Seiten – verweisen Sie sie einfach mit \u003clink rel=\"canonical\" … \u003e auf eine korrekte URL – dafür ist sie da.
Dieses Feature könnte dem SEO-Linkaufbau auf lange Sicht schaden:
Alle Deep-Links zu Antworten innerhalb von Themen befinden sich jetzt auf noindex-Seiten! Mag Google das?
Eigentlich sollte ein canonical-Tag, der immer auf die Themen-URL verweist – auch für Seiten, die auf eine Antwort verlinken – perfekt funktionieren – ohne X-Robots-Tag: noindex hinzuzufügen:
Beim ersten Crawling einer verlinkten Antwortseite erkennt Google, dass die Seiten-URL (Antwort innerhalb des Themas) nicht zur kanonischen URL passt, und beschließt dann, nur die kanonische URL (Thema) zu crawlen.
Können wir Bearbeitung: nein, siehe Search engines now blocked from indexing non-canonical pages - #9 by j127\u003ca rel=\"nofollow\" … \u003e zu allen Links hinzufügen, die dieses Topic-Answer-Deep-Linking durchführen?
Dadurch könnten wir noch mehr von diesem wertvollen und begrenzten Crawl-Budget von Suchmaschinen einsparen:
Die Suchmaschine würde den Link weder zuerst extrahieren noch die URL aufrufen. Das Aufrufen der URL führt zu einer Antwort mit einem X-Robots-Tag: noindex HTTP-Header, wodurch die Antwort durch Hinzufügen der URL zur internen ‘noindex’-Liste der Suchmaschinen ‘gelöscht’ wird.
Weitere Einsparungen beim Crawl-Budget durch Hinzufügen von nofollow zu RSS-Feed-URLs: