クローラー、制限ページでログインが必要なためブロック

[Isambard]

フォーラムには、特定のTLレベルを必要とするカテゴリがあります。

Googleがこれをクロールしようとすると、エラーが発生します。これらはrobots.txtによって自動的に除外されるべきでしょうか？

[sam (Sam Saffron)]

Googleはどこからリンクを取得したのですか？これらのトピックはサイトマップに表示されていますか？

[Isambard]

うーん。それは良い質問ですね。スレッドの正規URLにはcategory_idが含まれていないため、簡単にフィルタリングできないことがわかりました。サイトマップに含まれていないと仮定すると、Googleが他の場所でリンクを見つけた場合、すべての個々のURLをrobotsに含める以外に簡単なブロック方法はありませんが、それは賢明なアプローチではありません。