大家好，
我正在运行一个 Discourse 论坛（forum.evteam.pl），但在让 Google 收录我的页面时遇到了困难。尽管提交了站点地图，但只有少数页面被收录，大部分仍未被收录。
目前情况如下：
- 180 多个页面中只有 8 个被收录。
- 收录的页面数量曾短暂增加，但随后又下降了。
- Google Search Console 显示 172 个页面未被收录。
- 站点地图很长时间未被批准。
- 搜索表现非常低，来自 Google 的点击几乎没有。
我已检查以下内容：
Robots.txt – 没有明显的限制。
Sitemap.xml – 已提交，但仍未被批准。
Noindex 标签 – 关键页面上不存在。
Google Search Console – 没有手动处罚或安全问题。
有人遇到过 Discourse 论坛类似的问题吗？这是否可能与 Google 的收录政策有关，还是我可能遗漏了什么？有什么解决技巧吗？
提前感谢！
nat
(Natalie T)
3
请检查：
- \\u003cyoursite\u003e/admin/reports/web_crawlers，看看列表中是否有 Googlebot？
- 网站设置
allowed_crawler_user_agents，确保您没有意外阻止 Google（如果可能，请在此处分享）。
Discourse SEO overview (sitemap / robots.txt ) 可能会是您有用的主题。
1 个赞
感谢您的建议！
- 我检查了 /admin/reports/web_crawlers，发现 Googlebot 在列表中，所以它正在抓取论坛内容。
- allowed_crawler_user_agents 列表为空，所以我添加了：
Googlebot
bingbot
DuckDuckBot
我也在 Google Search Console 中重新提交了网站地图，并将监控未来几天索引情况是否有所改善。
Jagster
(Jakke Lehtonen)
5
这可能是一个糟糕的主意——除非你完全确定所有其他机器人都可以被禁止。谷歌使用许多不声明googlebot字符串的网络爬虫。
2 个赞
感谢指出！我之前不知道 Google 使用一些没有明确声明 Googlebot 的爬虫。
我将清除 allowed_crawler_user_agents 列表，以免意外阻止任何东西。
