刚从私有切换到公开,被 robots.txt 阻止了

我刚将我们的论坛开放给 Google 发现,并使用搜索控制台为我们的网站建立了索引。(我不确定是否还有其他需要做的事情 ¯\_(ツ)_/¯(有什么建议吗?)

以下是我从 Google 搜索控制台收到的反馈:

你检查过你的 robots.txt 了吗?

我不确定该查看 robots.txt 中的哪些内容,或者在哪里找到它。

我已在管理设置中确保勾选了此选项…

我不知道这是否会影响我的问题,但还有一点需要注意的是,我正在使用 SSO,并以 WordPress 作为提供商。这会有影响吗?

我的网站是 pickleballist.com
我的论坛是 forums.pickleballist.com

每个站点的根目录下都有 robots.txt 文件,因此:

https://pickleballist.com/robots.txt
https://forums.pickleballist.com/robots.txt

这些文件中没有任何内容会阻止 Google 抓取。您可以使用第三方 robots.txt 扫描工具自行验证,例如 Ryte 提供的此工具

该工具确认 robots.txt 并未阻止 Googlebot:

Google 还提供了 搜索控制台内的测试工具

User-agent: *
Disallow:

在 robots.txt 禁用文件中删除要屏蔽的链接

由于您的论坛长期要求登录才能访问和/或阻止了搜索引擎索引,爬虫需要一段时间才会重新检查您的 robots.txt 文件并发现已解除限制。您通常可以在相关设置中找到一个按钮来请求重新抓取,或者也可以直接等待。

是的,你说得对,它确实已经“需要登录”好几个月了。希望我们很快就能被收录!