大家好，
以前，当我们在 Google 上搜索某些主题时，我们的社区论坛会出现在搜索结果中，带来不少讨论。但最近我们发现，社区内容在搜索结果中完全消失了。我们最近做了一些重新分类并关闭了大量讨论帖，这是唯一的变动。
我们还尝试将 robots.txt 设置为“允许所有内容”：https://community.tyk.io/robots.txt
但即便如此，在 Browseo 上仍然收到 403 Forbidden 错误：Your New SEO Browser: Browseo
目前，当我们在 Google 上搜索社区时，结果如下：
不确定我们哪里出了问题。任何帮助都将不胜感激。另外，如果有关于 Discourse 社区 SEO 的博客或教程，也欢迎分享。我们很想了解如何改进。
谢谢！
simon
2
如果您点击 Google 搜索结果底部显示的“了解原因”链接，会看到什么？
您是否对 Discourse 站点的“白名单爬虫用户代理”或“黑名单爬虫用户代理”站点设置进行了任何更改？
根据我们多年的经验，您无需进行任何操作。不过，如果您的网站在网络上缺乏足够的链接，可能需要一些时间。请访问您域名的 Google 站长工具。
谢谢，Jeff。我正在让团队查看 Google 站长工具。这很可能是 Google 的问题，因为我们除了在 Discourse 上关闭线程和重新分类外，实际上没有做任何更改。
Canapin
(Coin-coin le Canapin)
8
关于站点地图我不太了解，但我会引用 Discourse 团队的说法：
riking
(Kane York)
11
白名单爬虫用户代理
警告！设置此项将禁止所有未在此列出的爬虫！
名称显示为黄色表示该设置已被修改。
请使用重置按钮清除该设置。
