문제는 "추정되는 크롤러"가 실제로는 합법적인 사용자 에이전트를 사용하는 경우가 많다는 점입니다. 때로는 브라우저 버전이 꽤 오래된 것처럼 보일 수 있지만, 이를 봇으로 간주할 만큼 강한 신호라고 보기는 어렵습니다. 그래서 우리는 많은 지표를 수집하고 이를 조합하여 가능성(likelihood)을 측정하려고 합니다.
크롤러가 Bingbot이나 Googlebot과 같은 사용자 에이전트로 정직하게 자신을 소개하는 경우, 해당 트래픽은 바로 “크롤러” 카테고리에 분류됩니다.