Puoi visualizzare numeri dettagliati per ogni crawler visitando
your.site.com/admin/reports/web_crawlers
Se noti un crawler insolito che si comporta in modo errato, puoi aggiungere una stringa univoca del suo user agent all’impostazione blacklisted_crawler_user_agents e verrà bloccato.