La sfida è che i “probabili crawler” utilizzano spesso user agent legittimi. A volte, la versione del browser sembra piuttosto vecchia, ma non è un segnale abbastanza forte da considerarla un probabile bot. È per questo che raccogliamo così tante metriche e cerchiamo di combinarle per stimare la probabilità.
Quando il crawler si presenta onestamente tramite un user agent come Bingbot o Googlebot, finisce direttamente nella categoria “crawler”.