我的论坛上有一些分类需要特定的TL级别才能阅读。
Google 尝试抓取这些内容时会遇到错误。这些内容是否应该被 robots.txt 自动排除？
谷歌从哪里获取的链接，这些主题是否显示在站点地图中？
2 个赞
嗯。问得好。我看到帖子的规范 URL 不包含 category_id，因此无法轻松进行过滤。假设它不在站点地图中，如果 Google 在其他地方找到该链接，则没有简单的阻止方法，除非您将每个单独的 URL 包含在 robots.txt 中，但这并非明智之举。
1 个赞
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.