 |
Riepilogo | Integra il servizio Dark Visitors con Discourse per tenere traccia dei crawler e scraper indesiderati che visitano il tuo forum. |
 |
Link Repository | https://github.com/magicball-network/discourse-darkvisitors |
 |
Guida all’installazione | Come installare plugin in Discourse |
Funzionalità
Dark Visitors è un servizio che tiene traccia degli agenti (crawler, scraper e altri tipi di bot) che visitano i tuoi siti web. La loro attenzione principale è rivolta all’analisi degli agenti AI.
Offre due servizi:
- Generazione e monitoraggio di robots.txt
- Analisi degli agenti; sia lato server che lato client
Il servizio robots.txt è gratuito. I servizi di analisi offrono un piano gratuito. Ti consiglio di visitare il loro sito web per maggiori informazioni.
Questo plugin Discourse si collega a tutti questi servizi, tutti opzionali e configurabili in una certa misura.
Generazione robots.txt
Discourse fornisce già un’opzione per configurare il robots.txt. Questo plugin lo estende. Quando abilitato, il plugin recupera un elenco di agenti in diverse categorie (attualmente sono supportate solo le categorie AI) e quelli che mancano negli agenti già configurati, li aggiungerà. L’elenco verrà aggiornato quotidianamente. In questo modo, quando un nuovo scraper AI viene riconosciuto, verrà aggiunto al tuo robots.txt.
Questa funzionalità funziona solo se Discourse gestisce il robots.txt e non lo hai sovrascritto manualmente. Il plugin non modifica l’impostazione Agenti crawler bloccati, ma aumenta il robots.txt con nuovi agenti mancanti. Quindi hai ancora il pieno controllo della gestione di questo elenco.
Quando visiti il robots.txt del tuo sito, vedrai un commento iniziale dell’ultimo aggiornamento e il numero di agenti restituiti da Dark Visitors. Gli agenti non ancora configurati vengono aggiunti alla fine dell’elenco. Dovrebbero trovarsi tra Googlebot e la direttiva sitemap (se configurata).
Analisi degli agenti
Sia l’analisi lato server che quella lato client possono essere abilitate individualmente. Possono essere abilitate per tutti i visitatori o solo per i visitatori non autenticati.
L’analisi lato server riporta le visite tracciate a Dark Visitors. Invierà il percorso della richiesta, l’indirizzo remoto del visitatore, l’intestazione User-Agent e alcune altre intestazioni del browser.
Ci sono alcune impostazioni aggiuntive per cui le richieste vengono segnalate, vedi le impostazioni sottostanti. Per impostazione predefinita, vengono tracciate solo le richieste che Discourse contrassegna per il tracciamento come visualizzazioni. Le seguenti richieste a Discourse non verranno mai segnalate:
- Richieste alla sezione Admin
- Richieste in background e API
L’analisi lato client viene gestita aggiungendo Javascript alla tua pagina che contatta Dark Visitors in determinate condizioni:
- Il browser sembra essere automatizzato o un browser AI
- L’utente proviene da un servizio di chat AI
Tutte le richieste tracciate contano per gli eventi che influiscono sul tuo piano di pagamento.
Configurazione
È necessario registrarsi con Dark Visitors per utilizzare questo plugin. Il piano gratuito ti offre 1.000.000 di eventi al mese. Una volta raggiunto questo limite, non vedrai più eventi recenti nelle loro analisi, ma potrai comunque inviare nuove informazioni e continuare a utilizzare il servizio robots.txt.
Dopo la registrazione, devi creare un progetto (ad esempio, un sito da monitorare). Questo ti fornirà un token di accesso necessario per la funzionalità robots.txt e l’analisi lato server.
Quando abiliti la funzionalità robots.txt, occorre un po’ di tempo prima che venga aggiornata. Visita https://iltuosito/robots.txt per vedere se funziona. Dovrebbe avere un commento in cima
# Aggiunto da Dark Visitors il 2025-05-07T12:46:00+00:00 con 28 agenti
Quando abiliti l’analisi lato server, puoi testare se funziona richiedendo una visita di prova dalle impostazioni del progetto Dark Visitor. Potrebbero volerci alcuni secondi. Dovresti vedere il risultato nella pagina Realtime su Dark Visitors.
Impostazioni
| Nome | Descrizione |
|---|---|
| darkvisitors enabled | Flag globale per abilitare l’intero plugin |
| darkvisitors access token | Il token di accesso segreto necessario per robots.txt e l’analisi lato server per comunicare con Dark Visitors. Lo troverai nel tuo progetto Dark Visitor sotto impostazioni. |
| darkvisitors robots txt enabled | Quando abilitato, il robots.txt di Discourse verrà aumentato con agenti aggiuntivi |
| darkvisitors robots txt agents | Il tipo di agenti da aggiungere al robots.txt. |
| darkvisitors robots txt path | Il percorso a cui negare l’accesso agli agenti. È probabilmente meglio lasciarlo a / in modo che l’accesso all’intero sito venga rifiutato. |
| darkvisitors server analytics | Abilita l’analisi lato server. Raccomando di abilitarla solo per gli utenti anonimi. |
| darkvisitors server analytics include | Richieste aggiuntive da tracciare. Puoi anche tracciare le richieste ai file caricati o anche le richieste 404 Not Found. |
| darkvisitors server analytics ignore | Sottostringhe negli user agent da ignorare (sensibile alle maiuscole). Se utilizzi il monitoraggio dell’uptime, ti consiglio vivamente di includere il loro user agent identificativo in questo elenco. |
| darkvisitors client analytics | Abilita l’analisi lato client. Questo ti darà anche informazioni sui normali utenti che visitano il tuo forum provenendo da un servizio di chat AI. |
| darkvisitors client analytics project key | Per l’analisi lato client è necessario configurare la chiave di progetto (pubblica). Puoi trovarla nelle impostazioni del tuo progetto Dark Visitors nella sezione JavaScript Tag, è il codice dopo project_key= |
