如何处理网站分析中突然出现的“其他流量”

我七月份收到了大量来自新加坡的请求,遇到了问题。我屏蔽了一个 IP 地址范围,起初奏效了,但八月份问题变得更严重(来自新加坡、香港和墨西哥),导致 CDN 成本高得离谱 :face_with_steam_from_nose:

我注意到来自 Amazonbot、DataForSeoBot、meta-externalagent、SeekportBot 等的页面浏览量很高……

这份文档 Controlling Web Crawlers For a Site 提到:

此列表不包含我访问量最高的一些爬虫,但我仍然有一个问题。

将整个列表添加到“屏蔽的爬虫用户代理”设置中是否明智?

是否有办法从 .txt 文件批量添加爬虫名称?

1 个赞