感谢您的建议!
- 我检查了 /admin/reports/web_crawlers,发现 Googlebot 在列表中,所以它正在抓取论坛内容。
- allowed_crawler_user_agents 列表为空,所以我添加了:
Googlebot
bingbot
DuckDuckBot
我也在 Google Search Console 中重新提交了网站地图,并将监控未来几天索引情况是否有所改善。
感谢您的建议!
Googlebot
bingbot
DuckDuckBot
我也在 Google Search Console 中重新提交了网站地图,并将监控未来几天索引情况是否有所改善。