Le défi est que les « probables crawlers » utilisent très souvent des agents utilisateurs légitimes. Parfois, la version du navigateur semble assez ancienne, mais ce n’est pas un signal suffisamment fort pour la considérer comme un robot probable. C’est pourquoi nous collectons de nombreuses métriques et essayons de les combiner pour évaluer la probabilité.
Lorsque le crawler se présente honnêtement via un agent utilisateur comme Bingbot ou Googlebot, il atterrit directement dans la catégorie « crawlers ».