La dashboard di amministrazione ora è in grado di identificare il probabile traffico crawler — bot automatizzati e scraper che utilizzano il JavaScript di browser reali ma non sono visitatori umani — e separare queste visualizzazioni di pagina dai numeri del vostro traffico genuino.
In questo argomento, condivideremo il nostro approccio all’identificazione di questo traffico e come potete attivare questa funzionalità già oggi.
Cosa è cambiato
Discourse ha sempre filtrato i Crawler che si identificano con user agent bot standard (Googlebot, ad esempio) in una categoria separata dei dati sul traffico del sito. Ma il traffico automatizzato moderno è più subdolo: esegue un browser completo, esegue JavaScript e si integra nei vostri dati sulle visualizzazioni di pagina come se fosse una visita reale. Gli amministratori avrebbero visto picchi di traffico nelle visualizzazioni di pagina Anonime che si sono rivelati essere scraper, o conteggi dei visitatori gonfiati da bot di intelligenza artificiale — senza alcun modo di distinguere tra loro e il vero traffico umano anonimo (cioè non autenticato).
Questo aggiornamento aggiunge una categoria Probabili crawler ai dati sul traffico del vostro sito. Quando il rilevamento migliorato dei crawler è abilitato, le visualizzazioni di pagina che i nostri euristici segnalano come probabilmente automatizzate vengono separate, in modo che i numeri del traffico umano siano più accurati.
Come funziona il rilevamento
Il sistema assegna un punteggio a ogni visualizzazione di pagina del browser utilizzando una serie di segnali comportamentali:
- User agent di automazione — lo user agent nomina esplicitamente un browser headless o uno strumento di automazione (HeadlessChrome, Playwright, Puppeteer, Selenium, PhantomJS, jsdom)
- ASN del crawler verificato — il numero di sistema autonomo dell’IP appartiene a una rete di crawler nota (Baidu, Ahrefs, Yandex, Internet Archive, ecc.)
- ASN del datacenter — l’IP si trova nello spazio degli indirizzi di un grande provider cloud o di hosting
- Velocità — l’IP + user agent genera un numero insolitamente elevato di visualizzazioni di pagina all’ora
- Navigazione rapida — il divario mediano tra le visualizzazioni di pagina è inferiore a 5 secondi
- Rotazione delle sessioni — molte sessioni brevi (per lo più di una sola pagina) dallo stesso IP + user agent
- Mancanza di coinvolgimento — nessuna interazione umana registrata (movimento del mouse, pressioni dei tasti, scorrimento) per la sessione e le sue vicine. Questo segnale ha più peso per il traffico anonimo che per quello autenticato.
- Rapporto referrer errati — la maggior parte delle visualizzazioni di pagina arrivano senza referrer o con uno esterno, suggerendo un accesso diretto all’URL piuttosto che una navigazione attraverso il sito
- Singola richiesta diretta — una singola visualizzazione di pagina senza coinvolgimento e senza referrer; il punteggio è più alto se l’URL contiene un parametro locale
- Rotazione rapida dell’IP — più IP utilizzati all’interno di una singola sessione, con un ciclo più rapido di quanto farebbe un umano
- Chromium obsoleto — una versione di Chrome obsoleta senza segnali di coinvolgimento
- Traffico distribuito — alcuni crawler ruotano gli indirizzi IP e avviano una nuova sessione per quasi ogni visualizzazione di pagina. Ora cerchiamo schemi nelle visite anonime che condividono lo user agent e sia la rete sia una fonte di referral esterna
I punteggi provenienti da più segnali si sommano; quando una visualizzazione di pagina presenta una certa quantità dei segnali sopra elencati, viene classificata come probabile crawler.
Attivare il rilevamento migliorato dei crawler nella vostra community
Per ora, questa è considerata una modifica sperimentale. Stiamo ancora perfezionando gli euristici di rilevamento e accogliamo con favore il feedback.
Per attivarla, andate alla pagina delle Modifiche imminenti nella vostra area di amministrazione e individuate la voce Rilevamento migliorato dei crawler. Aggiornate il campo Abilitato per… per includere il vostro sito.
Una volta abilitata, la sezione Traffico del sito della dashboard di amministrazione mostrerà i probabili crawler come categoria separata.
Note importanti:
- Questa non è una scienza perfetta e continueremo a perfezionare i nostri euristici nel tempo. Tuttavia, non eseguiremo il backfill man mano che aggiorneremo questi calcoli.
- Classificare una visualizzazione di pagina come probabile crawler non nega né limita la velocità della richiesta.
- Le visualizzazioni di pagina dei probabili crawler sono escluse dai referrer, dai paesi e da altre suddivisioni del traffico — nello stesso modo in cui vengono gestiti oggi i crawler noti.
- Le modifiche alle regole di rilevamento non rielaborano automaticamente tutto il traffico storico.
Cosa ne pensate?
Adoreremmo il vostro feedback — specialmente da parte delle community che hanno notato schemi di traffico insoliti o picchi inspiegabili. I numeri sembrano corretti per il vostro sito? Ci sono visite segnalate che vi sembrano utenti reali? Condividete ciò che osservate in questo argomento.
