埋め込みトピックからのみクローラーをブロックしますか?

手動以外に、すべてのWP-Discouse接続フォーラムスレッドをブロックするようにrobots.txtを設定することは可能ですか?
(フォーラム投稿がインデックスされないように)

すべての接続済みフォーラムスレッドのクロールをブロックできる簡単なトグルオプションはありますか?それとも、WP投稿の発行または編集時に、wp-discourseフォーラムスレッドにリンクされている投稿ごとのトグル設定でも良いですか?

なぜそうしたいのですか?フォーラムの投稿には、WPサイトの正規バージョンへのポインタが含まれていると確信しています。

「いいね!」 2

追加以来、WPの記事(オリジナル)のランキング/評判が低下しました。議論を開始したり苦情を言ったりするつもりはありませんでしたが、これを達成する方法を尋ねていただけです。インデックス作成されるものに対するこのレベルの制御を他の人が望む理由は他にもたくさんあると確信しています。

「いいね!」 1

提案ですが、目標を再定義したほうがいいかもしれません。あなたは間違った方向に進んでいます。

しかし、リバースプロキシを使えば、これは非常に簡単なタスクです。

すべてのウェブクローラーがrobots.txtファイルを尊重するわけではありません。

「いいね!」 3

@haydenjames様

WP Discourseプラグインでは、Discourseで作成された投稿をrobots.txtファイルに追加する方法はありません。これは純粋にDiscourseの質問、「埋め込みトピックを自動的にnoindexできますか?」(またはそれに類する質問)です。WordPressから埋め込まれたトピックは、他の埋め込まれたトピックと機能的に同じです。調査すべき点は、例えば embed set canonical url というサイト設定の起源や関連する議論などです。

(訂正があれば喜んで受け入れますが)ご希望のことは現在のDiscourseの機能ではないと思います。Discourseは現在、非公開トピックのGETリクエストに X-Robots-Tag: noindex ヘッダーを追加しています。プラグインを介して、埋め込みトピックに対しても同様のことを行うことができます。

「いいね!」 4

重複記事のインデックス作成をブロックするためにフォーラムのスレッドを間違った方向に進めており、Google検索ユーザーにはWPブログ経由で見つけてほしいと考えています。それで構いません。WP-discourseの主な利点は、Disqusや非常に限定的なデフォルトのWPコメントのようなソリューションを使用せずに、ブログ記事の議論を可能にすることです。既存のコンテンツに接続されていない他のユニークなスレッドがない限り、フォーラムからのSEOメリットは必要ありません。

変更されていない限り、重複はありません。

なぜなら:

そして:

「いいね!」 1

@angus ありがとうございます。

WP-Discourseで接続された投稿を格納するカテゴリを非表示にしたら(非表示とプライベートは違うのでしょうか?)、フォーラム/一般公開/クローラーからは投稿が非表示になりますが、WordPressの各ブログ記事の末尾に挿入されたコメントは引き続き表示されるということでしょうか?

初心者的な質問ですみません。Discourseの経験が浅いため、あなたの回答を誤解していないか確認したいのです。

…重複の定義によります。正規化は行われていますが、私個人としては、ブログ記事とフォーラムのスレッドの両方に全く同じ貼り付け/テキスト(重複)が含まれているため、それらのスレッドを完全にブロックしたいと考えています。それは私の個人的な好みです。将来的には、このトピックの背後にある理由がより理解できるようになるかもしれません。しかし、現時点では、議論を誘発しようとしているわけでは全くありません。私にとって、ブロックはより「絶対的な」解決策だと思います。

それは、整備士に行って「オイルを2回交換して」と頼むようなものです。@angus の最初の「なぜ」は理解できますが、結局のところ、それが何らかの方法で可能かどうか、あるいは不可能かどうかということです。

編集:今考えてみると、ブログ記事のフォーラムカテゴリをrobots.txtに追加することもできますよね?それとも上書きされますか?(Discourseのrobots.txtの仕組み/編集方法についてはフォーラムで検索します。)

たとえば次のようになります。
forum.domain.com/c/blog-articles/xx/*

「非公開」トピックとは、トピックリストに表示されない、つまり通常の「発見」ができないトピックのことです。非公開トピックは、目のマークに斜線が入った記号で識別できます。

実は、WP Discourseプラグインからの投稿を自動的に「非公開」にする方法があります :slight_smile: 「非公開トピックとして公開」設定を使用できます。

上記で述べたことと、その設定の横に書かれていることを両方考慮してください。これにより、DiscourseからWordpressに公開されたトピックは、フォーラムのトピックリストに表示されなくなります。コメントは通常どおり機能します。コメントデータを同期するWebhookが有効になっている場合、最初のコメント後にトピックは非公開ではなくなります。この機能はこの目的のために設計されたものではありません。詳細は以下を参照してください。

埋め込みトピックに X-Robots-Tag: noindex ヘッダーを だけ 追加したい場合(この非公開のことは気にせずに)、Discourse自体の新機能としてリクエストするか、プラグイン経由で追加する必要があります。

「いいね!」 2

これは素晴らしいですね。WP Discourseの設定を明確にし、共有していただきありがとうございます。

質問:Discourseのrobots.txtファイルを直接編集した場合、その変更は永続しますか?

まだフォーラムでその答えを探しています。回答が見つかったら、リンクを挿入します。

/admin/customize/robots から編集すれば永続します。

これは overridden_robots_txt という非表示のサイト設定に保存されます。この設定に値が入力されている場合、常に robots.txt ファイルとして提供されます。

「いいね!」 2

@haydenjames 最後に一点、最近埋め込みトピックの正規URLに問題が発生しているようです。最近この問題に気づいた場合は、念のため留意しておいてください。

「いいね!」 1

ありがとうございます。ああ、それほど単純ではありません。なぜなら、各スレッドのURLには、そのURLにカテゴリが含まれていないからです。したがって、手動で/一度に1つずつ追加する必要があります。

承知しました。ありがとうございます。だからこそ、robots.txt で WP-Discourse の埋め込み投稿をすべてブロックするという「核攻撃」アプローチを取りたいのです。このようなことは起こり得ます。理解できます。

私の定義もあなたの定義も無意味です。重要なのはGoogleの定義だけです。そして、重複はありません。

GoogleがあなたのフォーラムをWordPressよりも高く評価する可能性もあります。その場合、インデックス作成をブロックしようとするのではなく、その根本原因を修正する必要があります。

「いいね!」 1

rel=canonicalタグは、投稿を再公開する際に重複コンテンツのペナルティを回避するのに役立ちますが、タグを誤用するとペナルティを受ける可能性があります。解決策を見つけます。後日このスレッドを再度上げます。