検索エンジンにクロールされない投稿の条件は何ですか？

[ked (Kenny DuBose)]

検索エンジンが投稿をクロールできない条件は何ですか？

トピックのライフサイクルにおいて、検索エンジンのクローラーがクロール可能（インデックス可能）になるのはどのような条件でしょうか？

考えられるいくつかの可能性（他にも挙げられていないものがあると思われます）は以下の通りです：

• 元のトピックが下書きされ、送信され、監視ワードフィルター（ブロックまたは承認が必要）に引っかかった場合
• トピックが非公開（Unlisted）にされた場合、それは「クロール可能」ステータスから除外されますか？
• トピックが削除された場合、それは「クロール可能」ステータスから除外されますか？
• 投稿がフラグ付けされた場合、それは「クロール可能」ステータスから除外されますか？

この質問は、投稿が「クロール不可能」になる条件を説明することで答えられるかもしれません。

[simon]

はい、上記はすべて正しいです。トピックのクロールを防ぐもう一つの方法は、匿名ユーザーのアクセスを許可しないように設定されたカテゴリにトピックを配置することです。Discourse サイトのすべてのトピックは、「ログイン必須」サイト設定を有効にすることで、クロール不可にすることができます。

また、「robots.txt でインデックスを許可する」サイト設定を無効にすることで、サイトがクロールされるのを防ぐこともできます。この設定はデフォルトで有効になっています。