改进如何检测并标记流量数据中可能的爬虫

[kris.kotlarek (Kris)]

@nickdb

如果能获取一份它已识别的用户代理（user agent）列表，或者它认为可能是机器人/爬虫的列表，那就太好了。

难点在于，所谓的“疑似爬虫”往往使用的是合法的用户代理。有时浏览器版本看起来比较旧，但这不足以作为判定其为疑似机器人的强信号。因此，我们收集了大量指标，并尝试将它们结合起来以评估可能性。

当爬虫诚实地通过类似 Bingbot 或 Googlebot 这样的用户代理表明身份时，它会被直接归类到“爬虫”类别中。