Migliorare il modo in cui rileviamo e segnaliamo i probabili crawler nei dati del traffico

La dashboard di amministrazione ora è in grado di identificare il traffico presumibilmente generato da crawler — bot automatizzati e scraper che utilizzano JavaScript reale del browser ma non sono visitatori umani — e separare queste visualizzazioni di pagina dalle statistiche di traffico genuine.

In questo argomento, condivideremo come abbiamo affrontato l’identificazione di questo traffico e come puoi attivare questa funzionalità già oggi.

:microscope: Cosa è cambiato

Discourse ha sempre filtrato i Crawlers che si identificano con user agent bot standard (come ad esempio Googlebot) in una categoria separata dei dati di traffico del sito. Ma il traffico automatizzato moderno è più subdolo: esegue un browser completo, esegue JavaScript e si mescola nei dati delle visualizzazioni di pagina come se fosse una visita reale. Gli amministratori vedevano picchi di traffico nelle visualizzazioni Anonime che si rivelavano essere scraper, o conteggi di visitatori gonfiati da bot AI, senza alcun modo per distinguere tra questi e il vero traffico umano anonimo (cioè non autenticato).

Questo aggiornamento aggiunge una categoria Probabili Crawler ai dati di traffico del tuo sito. Quando è abilitato il rilevamento avanzato dei crawler, le visualizzazioni di pagina che i nostri algoritmi di euristica identificano come presumibilmente automatizzate vengono separate, rendendo così più accurati i numeri del traffico umano.

Come funziona il rilevamento

Il sistema assegna un punteggio a ogni visualizzazione di pagina dal browser utilizzando un insieme di segnali comportamentali:

  • User agent di automazione — lo UA indica esplicitamente un browser headless o uno strumento di automazione (HeadlessChrome, Playwright, Puppeteer, Selenium, PhantomJS, jsdom)
  • ASN di datacenter — l’IP appartiene allo spazio di indirizzamento di un grande fornitore di cloud o hosting
  • Velocità — l’IP + user agent genera un numero insolitamente elevato di visualizzazioni di pagina per ora
  • Navigazione rapida — il divario mediano tra le visualizzazioni di pagina è inferiore a 5 secondi
  • Cambio frequente di sessione — molte sessioni brevi (principalmente di una sola pagina) provenienti dallo stesso IP + user agent
  • Mancanza di interazione — nessuna interazione simile a quella umana registrata (movimento del mouse, digitazione, scorrimento) per una sessione e le sue vicine. Questo segnale ha un peso maggiore per il traffico anonimo rispetto a quello autenticato.
  • Rapporto di referrer sfavorevole — la maggior parte delle visualizzazioni di pagina arriva senza referrer o con uno esterno, suggerendo un accesso diretto all’URL piuttosto che una navigazione all’interno del sito
  • Singola richiesta diretta — una singola visualizzazione di pagina senza interazione e senza referrer; ottiene un punteggio più alto se l’URL contiene un parametro di localizzazione
  • Chromium obsoleto — una versione di Chrome datata senza segnali di interazione
  • Traffico distribuito — alcuni crawler ruotano gli indirizzi IP e iniziano una nuova sessione per quasi ogni visualizzazione di pagina. Cerchiamo ora modelli tra le visite anonime che condividono uno user agent e una rete o una fonte di referrer esterna

I punteggi derivanti da più segnali si sommano; quando una visualizzazione di pagina presenta una certa quantità dei segnali sopra descritti, la classifichiamo come probabile crawler.

:gear: Attivare il rilevamento avanzato dei crawler nella tua community

Per ora, questa è considerata una modifica sperimentale. Stiamo ancora ottimizzando gli algoritmi di rilevamento e accogliamo con favore i tuoi feedback.

Per attivare questa funzione, vai alla pagina Modifiche in arrivo nella tua area di amministrazione e cerca l’elemento Rilevamento avanzato dei crawler. Aggiorna il campo Abilitato per… per attivare l’opzione per il tuo sito.

Una volta abilitata, la sezione Traffico del sito nella dashboard di amministrazione mostrerà i probabili crawler come categoria separata.

:warning: Note importanti:

  • Non si tratta di una scienza esatta e continueremo a perfezionare i nostri algoritmi di euristica nel tempo. Tuttavia, non rielaboreremo i dati storici mentre aggiorneremo questi calcoli.
  • La classificazione di una visualizzazione di pagina come probabile crawler non nega né limita la frequenza della richiesta.
  • Le visualizzazioni di pagina dei probabili crawler sono escluse da referrer, paesi e altre suddivisioni del traffico — proprio come vengono gestiti oggi i crawler noti.
  • Le modifiche alle regole di rilevamento non rielaborano automaticamente tutto il traffico storico.

:mega: Cosa ne pensi?

Apprezziamo molto il tuo feedback, specialmente da parte delle community che hanno notato modelli di traffico insoliti o picchi inspiegabili. I numeri sembrano corretti per il tuo sito? Ci sono visite contrassegnate che a te sembrano provenire da utenti reali? Condividi ciò che stai osservando in questo argomento.

21 Mi Piace

Suona bene, ma considera anche gli utenti connessi per quei segnali?

1 Mi Piace

I crawler probabili verranno ancora conteggiati nel limite mensile di visualizzazioni di pagina? :slightly_smiling_face:

1 Mi Piace

Ho dimenticato di modificare l’URL di qualcosa che ho incollato mentre utilizzavo un modello, e su un forum in costruzione ho registrato un picco del 35.000%.

Ho ancora il compito in sospeso di installare un piccolo modello locale per ripulire eventuali riferimenti reali a ciò su cui sto lavorando.

È fantastico avere questa opzione come secondo filtro. Grazie per averla creata.

È una buona domanda, e una su cui non abbiamo ancora preso una decisione: prevediamo di dover affinare i nostri modelli di rilevamento dei crawler e, poiché questa è pensata come una facoltativa, non sappiamo ancora se e in che modo avrà un impatto sui limiti di visualizzazione.

Prenderemo in considerazione la questione internamente e ti aggiornerò!

4 Mi Piace

Grazie per lo sforzo profuso. È probabile che la possibilità di intraprendere un’azione correttiva una volta soddisfatti dell’algoritmo di rilevamento sia inclusa nella roadmap?

2 Mi Piace

Sarebbe ottimo se potessimo ottenere un elenco degli user agent identificati, o considerati probabili bot/crawler.

Ciò sarebbe utile per poterli aggiungere ai gruppi di blocco o di limitazione della frequenza.

3 Mi Piace

Sì, cerchiamo anche di rilevare le automazioni da parte di utenti connessi. Su Meta, abbiamo trovato alcuni “utenti” con livello di fiducia 0 che stavano scansionando il sito.

2 Mi Piace

La sfida è che i “probabili crawler” utilizzano spesso user agent legittimi. A volte, la versione del browser sembra piuttosto vecchia, ma non è un segnale abbastanza forte da considerarla un probabile bot. È per questo che raccogliamo così tante metriche e cerchiamo di combinarle per stimare la probabilità.

Quando il crawler si presenta onestamente tramite un user agent come Bingbot o Googlebot, finisce direttamente nella categoria “crawler”.

2 Mi Piace

Infatti. Con le statistiche che il team di discourse poteva estrarre dal backend, tendeva a trattarsi di user agent più oscuri, spesso con un aumento a breve termine dei pattern di accesso, il che ci permetteva di eliminarne alcuni dall’elenco senza impattare sugli utenti.

Non è una scienza esatta. La possibilità di mappare questi dati su specifiche aree geografiche migliorerebbe probabilmente la risoluzione nella loro gestione.

2 Mi Piace