我七月份收到了大量来自新加坡的请求,遇到了问题。我屏蔽了一个 IP 地址范围,起初奏效了,但八月份问题变得更严重(来自新加坡、香港和墨西哥),导致 CDN 成本高得离谱 ![]()
我注意到来自 Amazonbot、DataForSeoBot、meta-externalagent、SeekportBot 等的页面浏览量很高……
这份文档 Controlling Web Crawlers For a Site 提到:
此列表不包含我访问量最高的一些爬虫,但我仍然有一个问题。
将整个列表添加到“屏蔽的爬虫用户代理”设置中是否明智?
是否有办法从 .txt 文件批量添加爬虫名称?