Einige weitere Informationen zu noindex aus den Google-Dokumenten:
3 „Gefällt mir“
Dieser Befehl scheint nicht zu funktionieren. Ich habe heute eine kleinere Discourse-Site aktualisiert, um ihn zu testen, den Befehl ausgeführt und sehe immer noch die noindex-Header.
Bearbeiten: Ich bin mir nicht sicher, wie diese Einstellung funktioniert, aber ich sehe sie nicht in den SiteSettings, zumindest nicht im Frontend (als Administrator) in der Browserkonsole:
var d = Discourse.SiteSettings;
document.body.innerHTML = `\u003cpre\u003e${JSON.stringify(d, null, 4)}\u003c/pre\u003e`;
Es sieht so aus, als ob diese Einstellung für robots.txt gilt und nicht für noindex. Wäre diese nicht auf den meisten Discourse-Sites bereits true?
2 „Gefällt mir“
Oh Entschuldigung, das Richtige ist SiteSetting.allow_indexing_non_canonical_urls. Habe es im OP korrigiert.
3 „Gefällt mir“
Wir analysierten weiterhin Probleme nach dieser Änderung und beschlossen, sie gemäß Folgendem zurückzurollen:
Ziel dahinter war es, das Crawl-Budget zu begrenzen, das Google für das Scannen von nicht-kanonischen Themenlinks aufwendet.
Seitdem diese Änderung angewendet wurde, haben wir 2 Korrekturen vorgenommen, die die Änderung überflüssig machten.
-
Themen-RSS-Feeds werden nicht mehr verfolgt, Links in den RSS-Feeds werden nicht verfolgt. Z.B.:
https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985.rss -
Beitrags-RSS-Feeds enthalten jetzt kanonische Links. Z.B.:
https://meta.discourse.org/posts.rss
Zusammengenommen bedeuten diese beiden Änderungen, dass Crawler keine große Anzahl von nicht-kanonischen Links auf Discourse-Websites mehr entdecken.
Dies gibt Budget für die Suche frei und macht die Website-Einstellung nicht mehr erforderlich. Website-Betreiber können weiterhin damit experimentieren, sie ist jedoch standardmäßig deaktiviert.
13 „Gefällt mir“