Non dovresti dover fare nulla in più… quel traffico dei crawler proviene probabilmente da crawler che colpiscono community.yoursite.com/login. Se controlli community.example.com/admin/reports/web_crawlers puoi vedere quanto spesso i singoli crawler colpiscono il tuo sito.
Ci sono alcune cose che puoi fare per ridurre il traffico dei crawler…
-
Prova a disabilitare l’accesso a
/loginper i crawler nel file robots.txt (community.example.com/admin/customize/robots)… dovresti vedere una riduzione del traffico dei crawler (anche se probabilmente non completa, poiché esistono crawler che non rispettano robots.txt) -
Dai un’occhiata ai peggiori responsabili in
/admin/reports/web_crawlerse aggiungi i loro user-agent alle impostazioni del sito “user-agent dei crawler bloccati”