Suggerimento
Fai in modo che l’IA identifichi i web crawler che eseguono regolarmente la scansione del sito ma che non generano visite. Segnalali per la revisione da parte degli amministratori.
Inoltre, modifica il report Visualizzazioni consolidate delle pagine per suddividere i crawler in modo più dettagliato
- crawler che generano visite
- crawler occasionali
- altri
Ci sono molti web crawler che visitano i siti quotidianamente o ripetutamente e per siti come SWI-Prolog molti aumentano le visualizzazioni delle pagine, ma poi non c’è alcun beneficio per il sito. Il più delle volte si tratta di siti di motori di ricerca, ma se il motore di ricerca non genera visite, allora dovrebbe essere escluso dall’essere autorizzato a eseguire la scansione del sito.
Sì, so che non esiste un modo ideale per fermare un web crawler malfunzionante, ma ridurre il numero di visualizzazioni di pagine non necessarie da parte di tali web crawler si traduce in denaro e tempo reali a lungo termine.