Crawler nella comunità

Ciao Team,

Nella dashboard della community vedo molti crawler che accedono al sito. Non riesco a capire chi sono e come sono arrivati qui.

Chi sono questi visitatori?
Come posso analizzare la loro attività e che tipo di attività stanno svolgendo?
Come è possibile tracciarli?

Per favore, aiutami con queste informazioni.

Buona giornata!

Grazie,
Vidyaranjan

Ciao Vidyaranjan,

Prova a controllare /admin/reports/web_crawlers per un rapporto dettagliato sui crawler. Puoi quindi procedere a bloccare quelli che non ritieni utili o pertinenti aggiungendoli all’impostazione del sito blocked crawler user agents. Tale impostazione richiede una parola, senza distinzione tra maiuscole e minuscole, che deve essere presente nella stringa dell’user agent.

5 Mi Piace

Scusa se riprendo l’argomento, ma non ho ancora trovato quello che cercavo. Innanzitutto, le statistiche dei crawler fornite dalla pagina dei report mi danno informazioni sul numero di visualizzazioni di pagina da parte dei crawler e sui loro user agent, ma poco altro su come utilizzare tali dati. I crawler in generale non sono un problema per me, ma i picchi di accesso dei crawler rendono le statistiche della dashboard quasi inutilizzabili.

Come vedi, un singolo picco del 16 dicembre ha compresso così tanto tutti i grafici da renderli difficili da leggere. Inoltre, che valore ha questa informazione? Nessuno. Quella era la giornata del blackout di Google la scorsa settimana, quindi probabilmente non appena Google è tornato online, tutti quei crawler hanno aumentato la loro attività. Non è un gran che.

La mia domanda è quindi questa: Posso escludere i crawler dalle statistiche principali della dashboard di amministrazione?

1 Mi Piace

Sì, puoi farlo. Guarda in alto nella dashboard dove ci sono 3 opzioni:

Utenti connessi

Utenti anonimi

Crawler

Basta toccare su “Crawler” e verranno rimossi.

3 Mi Piace

aha, grazie mille, non sapevo di poter cliccare su questi