Ciao, nel nostro forum abbiamo troppi crawler, circa 81.000-90.000 in media! Questo potrebbe causare problemi? Se sì, come posso disabilitare i crawler dannosi?
Ho elencato i user agent dei crawler nella blacklist:
e ho rallentato i user agent dei crawler:
Grazie.
Puoi visualizzare numeri dettagliati per ogni crawler visitando
your.site.com/admin/reports/web_crawlers
Se noti un crawler insolito che si comporta in modo errato, puoi aggiungere una stringa univoca del suo user agent all’impostazione blacklisted_crawler_user_agents e verrà bloccato.
Grazie per la rapida risposta. Ho notato che un crawler ha 1.695.285 visualizzazioni: è normale o no?
Ho anche un’altra domanda: come posso aggiungere il pulsante soluzione nel mio forum? Devo installare qualche plugin?
Grazie.
Beh, dipende dalle dimensioni del tuo sito e dall’user agent di quel crawler. Ad esempio, non vuoi bloccare Googlebot.
Dai un’occhiata qui:
Quali sono i bot che non dovrebbero essere bloccati? E c’è un modo per trovare il nome dei bot dalle dashboard delle visualizzazioni consolidate delle pagine?
Dovresti bloccare solo i bot che si comportano male e lasciare tutto il resto sbloccato.
Come ho menzionato nel mio precedente post. Se vai su
your.site.com/admin/reports/web_crawlers
Otterrai un elenco completo di tutti i crawler sul tuo sito e il numero di visualizzazioni di pagina per ogni crawler. Puoi fare uno screenshot di quella pagina e pubblicarlo qui?
