Wir analysierten weiterhin Probleme nach dieser Änderung und beschlossen, sie gemäß Folgendem zurückzurollen:
Ziel dahinter war es, das Crawl-Budget zu begrenzen, das Google für das Scannen von nicht-kanonischen Themenlinks aufwendet.
Seitdem diese Änderung angewendet wurde, haben wir 2 Korrekturen vorgenommen, die die Änderung überflüssig machten.
-
Themen-RSS-Feeds werden nicht mehr verfolgt, Links in den RSS-Feeds werden nicht verfolgt. Z.B.:
https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985.rss -
Beitrags-RSS-Feeds enthalten jetzt kanonische Links. Z.B.:
https://meta.discourse.org/posts.rss
Zusammengenommen bedeuten diese beiden Änderungen, dass Crawler keine große Anzahl von nicht-kanonischen Links auf Discourse-Websites mehr entdecken.
Dies gibt Budget für die Suche frei und macht die Website-Einstellung nicht mehr erforderlich. Website-Betreiber können weiterhin damit experimentieren, sie ist jedoch standardmäßig deaktiviert.