 |
Riepilogo | Integra il servizio Known Agents con Discourse per tenere traccia dei crawler e degli scraper indesiderati che visitano il tuo forum. |
 |
Link al repository | https://github.com/magicball-network/discourse-darkvisitors |
 |
Guida all’installazione | Come installare i plugin in Discourse |
Funzionalità
Known Agents è un servizio che tiene traccia degli agenti (crawler, scraper e altri tipi di bot) che visitano i tuoi siti web. La loro attenzione principale è rivolta all’analisi degli agenti AI.
Offre due servizi:
- Generazione e monitoraggio di robots.txt
- Analisi degli agenti
Il servizio robots.txt è gratuito. I servizi di analisi offrono un livello gratuito. Ti suggerisco di visitare il loro sito web per ulteriori informazioni.
Questo plugin per Discourse si collega a tutti questi servizi, tutti opzionali e configurabili in una certa misura.
Generazione di robots.txt
Discourse fornisce già un’opzione per configurare il robots.txt. Questo plugin la estende. Quando abilitato, il plugin recupera un elenco di agenti in diverse categorie (attualmente sono supportate solo le categorie AI) e quelli mancanti tra gli agenti già configurati verranno aggiunti. L’elenco verrà aggiornato quotidianamente. In questo modo, quando viene riconosciuto un nuovo scraper AI, verrà aggiunto al tuo robots.txt.
Questa funzionalità funziona solo se Discourse gestisce il robots.txt e non lo hai sovrascritto manualmente. Il plugin non modifica l’impostazione Blocked crawler user agents, ma aggiunge al robots.txt nuovi agenti mancanti. Quindi mantieni ancora il pieno controllo sulla gestione di questa lista.
Quando visiti il robots.txt del tuo sito, vedrai un commento iniziale con l’ultima data di aggiornamento e il numero di agenti restituiti da Known Agents. Gli agenti non già configurati vengono aggiunti alla fine della lista. Dovrebbero trovarsi tra Googlebot e la direttiva sitemap (se configurata).
Analisi degli agenti
Può essere abilitata per tutti i visitatori o solo per i visitatori non autenticati.
L’analisi lato server segnala le visite tracciate a Known Agents. Invierà il percorso della richiesta, l’indirizzo remoto del visitatore, l’intestazione User-Agent e alcune altre intestazioni del browser.
Ci sono alcune impostazioni aggiuntive relative alle richieste da segnalare, vedere le impostazioni qui sotto. Di default, verranno tracciate solo le richieste che Discourse marca come visualizzazioni da tracciare. Le seguenti richieste a Discourse non verranno mai segnalate:
- Richieste alla sezione Admin
- Richieste di background e API
Tutte le richieste tracciate contano verso gli eventi che influiscono sul tuo piano di pagamento.
Configurazione
Devi registrarti su Known Agents per utilizzare questo plugin. Il livello gratuito ti offre 100.000 eventi al mese. Quando quel limite viene raggiunto, non vedrai nuovi eventi nella loro analisi, ma puoi comunque inviare nuove informazioni e continuare a utilizzare il servizio robots.txt.
Dopo la registrazione devi creare un progetto (cioè un sito da monitorare). Questo ti fornirà un token di accesso necessario per la funzionalità robots.txt e per l’analisi lato server.
Quando abiliti la funzionalità robots.txt, ci vuole poco tempo prima che venga aggiornato. Visita https://yoursite/robots.txt per verificare se funziona. Dovrebbe avere un commento in cima
# Augmented by Dark Visitors on 2025-05-07T12:46:00+00:00 with 28 agents
Quando abiliti l’analisi lato servizio, puoi testare se funziona richiedendo una visita di prova dalle impostazioni del progetto di Known Agents. Potrebbero volerci alcuni secondi. Dovresti vedere il risultato nella pagina Realtime su Known Agents.
Impostazioni
| Nome | Descrizione |
|---|---|
| darkvisitors enabled | Flag globale per abilitare l’intero plugin |
| darkvisitors access token | Il token di accesso segreto necessario per il robots.txt e l’analisi lato server per comunicare con Known Agents. Lo troverai nel tuo progetto Known Agents sotto settings. |
| darkvisitors robots txt enabled | Quando abilitato, il robots.txt di Discourse verrà integrato con agenti aggiuntivi |
| darkvisitors robots txt agents | Il tipo di agenti da aggiungere al robots.txt. |
| darkvisitors robots txt path | Il percorso a cui negare l’accesso agli agenti. È probabilmente meglio lasciare questo a / in modo che l’accesso a tutto il sito venga rifiutato. |
| darkvisitors server analytics | Abilita l’analisi lato server. Raccomando di abilitarla solo per gli utenti anonimi. |
| darkvisitors server analytics include | Richieste aggiuntive da tracciare. Puoi anche tracciare le richieste ai file caricati, o persino le richieste 404 Not Found. |
| darkvisitors server analytics ignore | Sottocatenelle negli user agent da ignorare (sensibile alle maiuscole e minuscole). Se usi il monitoraggio dell’uptime, consiglio vivamente di includere il loro user agent identificativo in questa lista. |
