您只应屏蔽行为不当的机器人,其余一律保持未屏蔽状态。
正如我在上一篇文章中提到的,如果您访问
your.site.com/admin/reports/web_crawlers
您将看到网站上所有爬虫的完整列表,以及每个爬虫的页面浏览量。您能否对该页面进行截图并发布在这里?
您只应屏蔽行为不当的机器人,其余一律保持未屏蔽状态。
正如我在上一篇文章中提到的,如果您访问
your.site.com/admin/reports/web_crawlers
您将看到网站上所有爬虫的完整列表,以及每个爬虫的页面浏览量。您能否对该页面进行截图并发布在这里?