Проблема в том, что “вероятные краулеры” очень часто используют легитимные user-agent. Иногда версия браузера выглядит довольно старой, но это недостаточно сильный сигнал, чтобы считать его вероятным ботом. Именно поэтому мы собираем множество метрик и пытаемся комбинировать их, чтобы оценить вероятность.
Когда краулер честно представляет себя через user-agent, например Bingbot или Googlebot, он сразу попадает в категорию “краулеры”.