是的，当然，我忘了说明：我目前是按爬虫逐个进行清理管理，几乎每周分析一次，以识别哪个爬虫对网站的侵入最严重，然后逐个将其封禁。
我担心的是，将如此多的机器人加入黑名单可能会在某种程度上影响网站性能。
因此，我在想，与其逐个封禁，不如将必要的机器人加入白名单，然后封禁其他所有机器人。但……是否存在所谓的“必要追踪器”呢？
我搜索了论坛，看看是否有专门讨论必要爬虫的帖子，但未能找到。如果您知道相关主题，请告诉我。
1 个赞