Ist es möglich, robots.txt außer manuell einzurichten, um alle mit WP-Discouse verbundenen Foren-Threads zu blockieren?
(damit der Forenbeitrag nicht indexiert wird)
Eine einfache Umschaltoption, die alle verbundenen Foren-Threads vom Crawling blockieren kann? Oder sogar eine Umschalteinstellung pro Beitrag beim Veröffentlichen oder Bearbeiten eines WP-Beitrags, der mit einem wp-discourse-Foren-Thread verknüpft ist?
Warum möchtest du das tun? Ich bin ziemlich sicher, dass der Forenbeitrag einen Verweis auf die kanonische Version auf deiner WP-Seite enthält.
Ein Rückgang des Rankings/der Reputation von WP-Artikeln (Originale) seit der Hinzufügung. Ich wollte keine Debatte beginnen oder mich beschweren, sondern fragte nur, wie ich dies erreichen kann. Ich bin sicher, dass es viele andere Gründe gibt, warum andere dieses Maß an Kontrolle darüber haben möchten, was indiziert wird.
Nur ein Vorschlag – vielleicht sollten Sie Ihre Ziele neu definieren, denn Sie sind auf dem falschen Weg.
Aber mit einem Reverse-Proxy ist das eine ziemlich triviale Aufgabe.
Nicht alle Web-Crawler respektieren die robots.txt-Datei.
Hallo @haydenjames,
Es gibt nichts, was Sie im WP Discourse-Plugin tun können, um Beiträge, die es in Discourse erstellt, zu einer robots.txt-Datei hinzuzufügen. Dies ist tatsächlich nur eine reine Discourse-Frage, nämlich „Kann ich eingebettete Themen automatisch noindexen?“ (oder etwas Ähnliches). Ein aus WordPress eingebettetes Thema ist funktional dasselbe wie jedes andere eingebettete Thema. Der Untersuchungsweg, den Sie einschlagen möchten, ist dort vorhanden, zum Beispiel der Ursprung der Site-Einstellung embed set canonical url und verwandte Diskussionen.
Ich glaube nicht (aber ich lasse mich gerne korrigieren), dass das, was Sie tun möchten, eine aktuelle Discourse-Funktion ist. Discourse fügt derzeit einen X-Robots-Tag: noindex-Header zu GET-Anfragen für versteckte Themen hinzu. Sie könnten dasselbe für eingebettete Themen über ein Plugin tun.
Überschrift in die falsche Richtung, um die Indexierung eines Forum-Threads mit dem doppelten Artikel zu blockieren, den ich lieber über den WP-Blog von Google-Suchnutzern finden lasse? Das ist für mich in Ordnung. Der Hauptvorteil von Wp-discourse war für mich, dass Diskussionen über Blogbeiträge möglich sind, ohne auf Lösungen wie Disqus oder die sehr begrenzten Standard-WP-Kommentare zurückgreifen zu müssen. Ich benötige keinen SEO-Vorteil aus den Foren, es sei denn, es handelt sich um andere einzigartige Threads, die nicht mit bereits vorhandenen Inhalten verbunden sind.
Es gibt keine Duplikate, es sei denn, Sie haben etwas geändert.
Wegen:
Und:
Danke, @angus.
Zur Klarstellung: Wenn ich die Kategorie, in der der WP-Discourse-verknüpfte Beitrag gespeichert ist, verstecke (ist versteckt anders als privat?), dann wird der Beitrag aus den Foren/der Öffentlichkeit/den Crawlern ausgeblendet, aber die eingefügten Kommentare am Ende jedes Wordpress-Blogbeitrags mit Kommentaren werden weiterhin sichtbar sein?
Entschuldigen Sie die Anfängerfragen, ich bin nicht erfahren mit Discourse und möchte sicherstellen, dass ich Ihre Antwort nicht falsch interpretiere.
…hängt von Ihrer Definition von Duplikat ab. Canonical ist vorhanden, aber für mich persönlich, da sowohl der Blogbeitrag als auch der Forum-Thread denselben Text (Duplikat) enthalten. Ich würde diese Threads lieber ganz blockieren. Das ist nur meine Präferenz. Vielleicht ergibt die Begründung hinter diesem Thema in Zukunft mehr Sinn. Aber im Moment versuche ich ehrlich gesagt nicht, eine Debatte oder so etwas zu provozieren. Ich denke, Blockieren ist für mich eine absolutere Lösung.
Es ist, als würde man zu seinem Mechaniker gehen und ihn bitten, “zweimal das Öl zu wechseln”. Ich verstehe das anfängliche “Warum” von @angus - aber am Ende geht es nur darum, ob es irgendwie gemacht werden kann oder nicht möglich ist.
Bearbeitung: Wenn ich jetzt darüber nachdenke, könnte ich dann einfach die Forum-Kategorie für Blogbeiträge zu robots.txt hinzufügen, richtig? Oder wird das überschrieben? (Ich werde die Foren durchsuchen, wie robots.txt von Discourse funktioniert/bearbeitet werden kann.)
Also so etwas wie:
forum.domain.com/c/blog-articles/xx/*
Ein „verstecktes“ Thema ist eines, das nicht in Themenlisten aufgeführt ist, d. h. es ist nicht auf die übliche Weise „auffindbar“. Ein verstecktes Thema erkennen Sie am Symbol eines durchgestrichenen Auges.
Tatsächlich gibt es eine Möglichkeit, Beiträge aus dem WP Discourse-Plugin automatisch „versteckt“ zu machen 
Sie können die Einstellung „Als nicht gelistete Themen veröffentlichen“ verwenden.
Beachten Sie sowohl das, was ich oben gesagt habe, als auch das, was neben dieser Einstellung steht. Das bedeutet, dass Themen, die von Discourse nach Wordpress veröffentlicht werden, nicht in den Themenlisten Ihres Forums erscheinen. Kommentare funktionieren wie gewohnt. Wenn Sie den Webhook zum Synchronisieren von Kommentardaten aktiviert haben, wird das Thema nach dem ersten Kommentar nicht mehr versteckt. Diese Funktion wurde nicht genau für diesen Zweck entwickelt. Weitere Informationen finden Sie unter
Wenn Sie nur einen X-Robots-Tag: noindex-Header zu einem eingebetteten Thema hinzufügen möchten (ohne sich um dieses Versteck-Geschäft zu kümmern), müssen Sie dies entweder als neue Funktion von Discourse selbst anfordern oder es über ein Plugin hinzufügen.
Das ist cool. Danke für die Klarstellung und das Teilen der WP Discourse-Einstellung.
Frage: Wenn ich meine Discourse-robots.txt-Datei manuell bearbeite. Bleibt die Änderung bestehen?
Ich bin noch dabei, die Foren nach dieser Antwort zu durchsuchen. Ich werde alle Links einfügen, die eine Antwort darauf geben.
Wenn Sie es über /admin/customize/robots tun, bleibt es bestehen.
Es wird in einer versteckten Seiteneinstellung namens overridden_robots_txt gespeichert. Wenn diese gefüllt ist, wird sie immer als Ihre robots.txt-Datei bereitgestellt.
@haydenjames Das Einzige, was ich noch anmerken möchte, ist, dass es in letzter Zeit ein Problem mit der kanonischen URL von eingebetteten Themen zu geben scheint. Etwas, das man im Hinterkopf behalten sollte, wenn man dieses Problem erst seit kurzem bemerkt hat.
Danke. Ah, das ist nicht so einfach, denn die URL jedes Threads enthält die Kategorie nicht. Man müsste sie also manuell / einzeln hinzufügen.
Zur Kenntnis genommen. Danke. Das ist teilweise der Grund, warum ich den Nuke-Ansatz verfolgen möchte, alle WP-Discourse-Embed-Posts über robots.txt zu blockieren. Diese Dinge können passieren. Es ist verständlich.
Meine oder Ihre Definition ist bedeutungslos. Nur die Definition von Google ist wichtig. Und dann gibt es keine Duplikate.
Es besteht auch die Möglichkeit, dass Google Ihr Forum höher bewertet als WordPress. Dann besteht die Lösung nicht darin, die Indexierung zu blockieren, sondern die Quelle zu beheben.
Auch wenn das rel=canonical-Tag Ihnen helfen kann, eine Strafe wegen doppelter Inhalte zu vermeiden, wenn Sie Beiträge erneut veröffentlichen, können Sie dennoch bestraft werden, wenn Sie das Tag missbrauchen. Ich werde eine Lösung finden. Ich werde diesen Thread zu einem späteren Zeitpunkt wieder aufgreifen.
