在设置实时网站时临时屏蔽 Google 爬虫?

我确信 somewhere 有相关设置,但找不到。

仍在实施从旧论坛到 Discourse 的重定向。有没有办法暂时阻止 Google 抓取,以避免重复内容?

1 个赞

您可以在“管理/设置/登录”中将您的网站设置为“需要登录”,并勾选“需要登录”复选框。

6 个赞

这也会阻止爬虫吗?

2 个赞

是的,网络爬虫“看到”的只有您的首页,仅此而已。我们的网站是仅限受邀加入的私密站点,需要登录才能访问。除了偶尔对首页的一次访问外,没有任何内容会被索引,因为它们无法爬取整个网站。

7 个赞

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.