建议
让 AI 识别那些定期抓取网站但未产生访问量的网络爬虫。将它们标记出来供管理员审查。
此外，修改“合并页面浏览量”报告，以便更详细地细分爬虫：
- 产生访问量的爬虫
- 一次性爬虫
- 其他
许多网络爬虫每天或反复访问网站，对于像 SWI-Prolog 这样的网站，它们会增加页面浏览量，但对网站没有任何好处。大多数情况下，这些是搜索引擎网站，但如果搜索引擎不产生访问量，则应禁止其抓取网站。
是的，我知道没有理想的方法可以阻止行为不端的网络爬虫，但从长远来看，减少此类网络爬虫不必要的页面浏览量确实能节省真实的金钱和时间。