La dashboard di amministrazione ora è in grado di identificare il traffico presumibilmente generato da crawler — bot automatizzati e scraper che utilizzano JavaScript reale del browser ma non sono visitatori umani — e separare queste visualizzazioni di pagina dalle statistiche di traffico genuine.
In questo argomento, condivideremo come abbiamo affrontato l’identificazione di questo traffico e come puoi attivare questa funzionalità già oggi.
Cosa è cambiato
Discourse ha sempre filtrato i Crawlers che si identificano con user agent bot standard (come ad esempio Googlebot) in una categoria separata dei dati di traffico del sito. Ma il traffico automatizzato moderno è più subdolo: esegue un browser completo, esegue JavaScript e si mescola nei dati delle visualizzazioni di pagina come se fosse una visita reale. Gli amministratori vedevano picchi di traffico nelle visualizzazioni Anonime che si rivelavano essere scraper, o conteggi di visitatori gonfiati da bot AI, senza alcun modo per distinguere tra questi e il vero traffico umano anonimo (cioè non autenticato).
Questo aggiornamento aggiunge una categoria Probabili Crawler ai dati di traffico del tuo sito. Quando è abilitato il rilevamento avanzato dei crawler, le visualizzazioni di pagina che i nostri algoritmi di euristica identificano come presumibilmente automatizzate vengono separate, rendendo così più accurati i numeri del traffico umano.
Come funziona il rilevamento
Il sistema assegna un punteggio a ogni visualizzazione di pagina dal browser utilizzando un insieme di segnali comportamentali:
- User agent di automazione — lo UA indica esplicitamente un browser headless o uno strumento di automazione (HeadlessChrome, Playwright, Puppeteer, Selenium, PhantomJS, jsdom)
- ASN di datacenter — l’IP appartiene allo spazio di indirizzamento di un grande fornitore di cloud o hosting
- Velocità — l’IP + user agent genera un numero insolitamente elevato di visualizzazioni di pagina per ora
- Navigazione rapida — il divario mediano tra le visualizzazioni di pagina è inferiore a 5 secondi
- Cambio frequente di sessione — molte sessioni brevi (principalmente di una sola pagina) provenienti dallo stesso IP + user agent
- Mancanza di interazione — nessuna interazione simile a quella umana registrata (movimento del mouse, digitazione, scorrimento) per una sessione e le sue vicine. Questo segnale ha un peso maggiore per il traffico anonimo rispetto a quello autenticato.
- Rapporto di referrer sfavorevole — la maggior parte delle visualizzazioni di pagina arriva senza referrer o con uno esterno, suggerendo un accesso diretto all’URL piuttosto che una navigazione all’interno del sito
- Singola richiesta diretta — una singola visualizzazione di pagina senza interazione e senza referrer; ottiene un punteggio più alto se l’URL contiene un parametro di localizzazione
- Chromium obsoleto — una versione di Chrome datata senza segnali di interazione
- Traffico distribuito — alcuni crawler ruotano gli indirizzi IP e iniziano una nuova sessione per quasi ogni visualizzazione di pagina. Cerchiamo ora modelli tra le visite anonime che condividono uno user agent e una rete o una fonte di referrer esterna
I punteggi derivanti da più segnali si sommano; quando una visualizzazione di pagina presenta una certa quantità dei segnali sopra descritti, la classifichiamo come probabile crawler.
Attivare il rilevamento avanzato dei crawler nella tua community
Per ora, questa è considerata una modifica sperimentale. Stiamo ancora ottimizzando gli algoritmi di rilevamento e accogliamo con favore i tuoi feedback.
Per attivare questa funzione, vai alla pagina Modifiche in arrivo nella tua area di amministrazione e cerca l’elemento Rilevamento avanzato dei crawler. Aggiorna il campo Abilitato per… per attivare l’opzione per il tuo sito.
Una volta abilitata, la sezione Traffico del sito nella dashboard di amministrazione mostrerà i probabili crawler come categoria separata.
Note importanti:
- Non si tratta di una scienza esatta e continueremo a perfezionare i nostri algoritmi di euristica nel tempo. Tuttavia, non rielaboreremo i dati storici mentre aggiorneremo questi calcoli.
- La classificazione di una visualizzazione di pagina come probabile crawler non nega né limita la frequenza della richiesta.
- Le visualizzazioni di pagina dei probabili crawler sono escluse da referrer, paesi e altre suddivisioni del traffico — proprio come vengono gestiti oggi i crawler noti.
- Le modifiche alle regole di rilevamento non rielaborano automaticamente tutto il traffico storico.
Cosa ne pensi?
Apprezziamo molto il tuo feedback, specialmente da parte delle community che hanno notato modelli di traffico insoliti o picchi inspiegabili. I numeri sembrano corretti per il tuo sito? Ci sono visite contrassegnate che a te sembrano provenire da utenti reali? Condividi ciò che stai osservando in questo argomento.

