我刚将我们的论坛开放给 Google 发现,并使用搜索控制台为我们的网站建立了索引。(我不确定是否还有其他需要做的事情 ¯\_(ツ)_/¯(有什么建议吗?)
以下是我从 Google 搜索控制台收到的反馈:
你检查过你的 robots.txt 了吗?
我不知道这是否会影响我的问题,但还有一点需要注意的是,我正在使用 SSO,并以 WordPress 作为提供商。这会有影响吗?
我的网站是 pickleballist.com
我的论坛是 forums.pickleballist.com
每个站点的根目录下都有 robots.txt 文件,因此:
https://pickleballist.com/robots.txt
https://forums.pickleballist.com/robots.txt
这些文件中没有任何内容会阻止 Google 抓取。您可以使用第三方 robots.txt 扫描工具自行验证,例如 Ryte 提供的此工具。
该工具确认 robots.txt 并未阻止 Googlebot:
Google 还提供了 搜索控制台内的测试工具。
User-agent: *
Disallow:
在 robots.txt 禁用文件中删除要屏蔽的链接
由于您的论坛长期要求登录才能访问和/或阻止了搜索引擎索引,爬虫需要一段时间才会重新检查您的 robots.txt 文件并发现已解除限制。您通常可以在相关设置中找到一个按钮来请求重新抓取,或者也可以直接等待。
是的,你说得对,它确实已经“需要登录”好几个月了。希望我们很快就能被收录!