Prova a controllare /admin/reports/web_crawlers per un rapporto dettagliato sui crawler. Puoi quindi procedere a bloccare quelli che non ritieni utili o pertinenti aggiungendoli all’impostazione del sito blocked crawler user agents. Tale impostazione richiede una parola, senza distinzione tra maiuscole e minuscole, che deve essere presente nella stringa dell’user agent.
Scusa se riprendo l’argomento, ma non ho ancora trovato quello che cercavo. Innanzitutto, le statistiche dei crawler fornite dalla pagina dei report mi danno informazioni sul numero di visualizzazioni di pagina da parte dei crawler e sui loro user agent, ma poco altro su come utilizzare tali dati. I crawler in generale non sono un problema per me, ma i picchi di accesso dei crawler rendono le statistiche della dashboard quasi inutilizzabili.
Come vedi, un singolo picco del 16 dicembre ha compresso così tanto tutti i grafici da renderli difficili da leggere. Inoltre, che valore ha questa informazione? Nessuno. Quella era la giornata del blackout di Google la scorsa settimana, quindi probabilmente non appena Google è tornato online, tutti quei crawler hanno aumentato la loro attività. Non è un gran che.
La mia domanda è quindi questa: Posso escludere i crawler dalle statistiche principali della dashboard di amministrazione?