検索エンジン、ボットがDiscourseのカテゴリ内のトピックをインデックス化できるのは事実です。Google、Bing、Yandexなどからカテゴリのトピックのインデックス化をブロックするにはどうすればよいですか？
Discourseの専門家の皆様のサポートをお待ちしております。
「いいね！」 1
ログインユーザーのみが閲覧でき、ボットもブロックできるように、カテゴリの権限をTL0に変更できます。
「いいね！」 6
もしドンが提案したものが機能するなら、それを使用してください。それは100％確実な唯一の方法です。しかし、そのフォーラムが一般の訪問者にも公開されなければならないのであれば、TL0を使用することはできません。もちろん、User-agent: * Disallow: /やそれに類するメタタグを使用することはできますが、それらが尊重されることもあれば、されないこともあります。誰かがGmailを使用してリンクを共有した場合、robots.txtやメタタグに何が書かれていてもGoogleはインデックス化します。
そして、これらのトリックはボットがそれに従う場合にのみ効果的です。ほとんどのSEOクローラーは従いません。さらに、何かをしようとする無数の不正なボットやスクリプトキディも存在します。
したがって、あなたが求めているプライバシーのレベルによって、やるべきことは変わってきます。
「いいね！」 4