Hallo,
ich habe gerade diese E-Mail von Google erhalten:
Entfernen Sie „noindex“-Anweisungen aus der robots.txt von
Ist das der Community bekannt? Muss ich etwas unternehmen?
Vielen Dank
Sieht so aus, als hätte Google das gerade versendet. Ich habe auch eine E-Mail bekommen.
Mir geht es genauso, ich poste hier, um die Meinungen etc. im Auge zu behalten.
Gleiche E-Mail: Muss ich das selbst regeln? Wie gehe ich vor?
Keine Sorge, es ist im Kern codiert. Das Discourse-Team wird es aktualisieren, und in wenigen Tagen ist es behoben. Wir müssen nur noch unser Discourse upgraden.
Aber für die Ungeduldigsten unter euch könnt ihr jetzt die robots.txt bearbeiten:
Google Search Console sendet uns Nachrichten bezüglich unserer Discourse-Seite:
Entfernen Sie ‘noindex’-Anweisungen aus der robots.txt-Datei von https://discourse.hookproductivity.com/
An den Besitzer von https://discourse.hookproductivity.com/,
Google hat festgestellt, dass die robots.txt-Datei Ihrer Website die nicht unterstützte Regel ‘noindex’ enthält.
Diese Regel wurde von Google nie offiziell unterstützt und wird ab dem 1. September 2019 nicht mehr funktionieren. Bitte besuchen Sie unser Hilfezentrum, um zu erfahren, wie Sie Seiten aus dem Google-Index ausschließen können.
Wenn Sie Ihre robots.txt-Datei nicht angepasst haben, müssen Sie nichts unternehmen… disallow erledigt bereits den Großteil der Arbeit.
Standardmäßig verwendet Discourse sowohl disallow als auch noindex in der robots.txt.
In diesem Blogbeitrag zu diesem Update schlägt Google vor, disallow zu verwenden, was wir bereits tun. Zusätzlich verwenden wir noindex, um das von Google erwähnte Verlinkungsproblem zu vermeiden (ich habe den relevanten Teil hervorgehoben)…
Disallow in robots.txt: Suchmaschinen können nur Seiten indizieren, von denen sie wissen. Daher bedeutet das Blockieren des Crawls einer Seite in der Regel, dass ihr Inhalt nicht indiziert wird. Obwohl die Suchmaschine eine URL möglicherweise auch basierend auf Links von anderen Seiten indiziert, ohne den Inhalt selbst zu sehen, streben wir an, solche Seiten in Zukunft weniger sichtbar zu machen.
Auf unserer Seite werden wir prüfen, ein Update zu erstellen, um das noindex-Meta-Tag hinzuzufügen oder den X-Robots-Tag-Header in unseren HTTP-Antworten zu verwenden, um sicherzustellen, dass Google den Link nicht indiziert, wenn er auf anderen Seiten erscheint (wir werden dieses Thema bei Änderungen aktualisieren).
Wenn Sie über Ihre Admin-Seite /admin/customize/robots benutzerdefinierte noindex-Regeln in der robots.txt hinzugefügt haben, sollten Sie diese in disallow ändern.
Das Vorhandensein von noindex in robots.txt war eine unglückliche „SEO“-Änderung, zu der wir uns vor etwa einem Jahr leider haben überreden lassen (Pages listed in the robots.txt are crawled and indexed by Google). Diese Änderung wurde nun rückgängig gemacht und auch in die stabile Version zurückportiert.