Wenn Sie Ihre robots.txt-Datei nicht angepasst haben, müssen Sie nichts unternehmen… disallow erledigt bereits den Großteil der Arbeit.
Standardmäßig verwendet Discourse sowohl disallow als auch noindex in der robots.txt.
In diesem Blogbeitrag zu diesem Update schlägt Google vor, disallow zu verwenden, was wir bereits tun. Zusätzlich verwenden wir noindex, um das von Google erwähnte Verlinkungsproblem zu vermeiden (ich habe den relevanten Teil hervorgehoben)…
Disallow in robots.txt: Suchmaschinen können nur Seiten indizieren, von denen sie wissen. Daher bedeutet das Blockieren des Crawls einer Seite in der Regel, dass ihr Inhalt nicht indiziert wird. Obwohl die Suchmaschine eine URL möglicherweise auch basierend auf Links von anderen Seiten indiziert, ohne den Inhalt selbst zu sehen, streben wir an, solche Seiten in Zukunft weniger sichtbar zu machen.
Auf unserer Seite werden wir prüfen, ein Update zu erstellen, um das noindex-Meta-Tag hinzuzufügen oder den X-Robots-Tag-Header in unseren HTTP-Antworten zu verwenden, um sicherzustellen, dass Google den Link nicht indiziert, wenn er auf anderen Seiten erscheint (wir werden dieses Thema bei Änderungen aktualisieren).
Wenn Sie über Ihre Admin-Seite /admin/customize/robots benutzerdefinierte noindex-Regeln in der robots.txt hinzugefügt haben, sollten Sie diese in disallow ändern.