 |
Résumé | Intègre le service Dark Visitors à Discourse pour garder une trace des robots et des scrapers indésirables visitant votre forum. |
 |
Lien du dépôt | \u003chttps://github.com/magicball-network/discourse-darkvisitors\u003e |
 |
Guide d’installation | Comment installer des plugins dans Discourse |
Fonctionnalités
Dark Visitors est un service qui garde une trace des agents (robots, scrapers et autres types de bots) visitant vos sites web. Leur attention principale est portée sur l’analyse des agents IA.
Il propose deux services :
- Génération et surveillance de robots.txt
- Analyse des agents ; côté serveur et côté client
Le service robots.txt est gratuit. Les services d’analyse offrent un niveau gratuit. Je vous suggère de visiter leur site web pour plus d’informations.
Ce plugin Discourse se connecte à tous ces services, tous optionnels et configurables dans une certaine mesure.
Génération de robots.txt
Discourse fournit déjà une option pour configurer le robots.txt. Ce plugin l’étend. Lorsqu’il est activé, le plugin récupère une liste d’agents dans différentes catégories (actuellement, seules les catégories IA sont prises en charge) et ceux qui sont manquants dans les agents déjà configurés, il les ajoutera. La liste sera mise à jour quotidiennement. Ainsi, lorsqu’un nouveau scraper IA est reconnu, il sera ajouté à votre robots.txt.
Cette fonctionnalité ne fonctionne que si Discourse gère le robots.txt et que vous ne l’avez pas remplacé manuellement. Le plugin ne modifie pas le paramètre Agents de robots bloqués, il augmente le robots.txt avec les nouveaux agents manquants. Vous avez donc toujours le contrôle total de la gestion de cette liste.
Lorsque vous visitez le robots.txt de votre site, vous verrez un commentaire en tête indiquant la dernière mise à jour et le nombre d’agents renvoyés par Dark Visitors. Les agents non encore configurés sont ajoutés à la fin de la liste. Ils devraient se trouver entre Googlebot et la directive sitemap (si configurée).
Analyse des agents
L’analyse côté serveur et côté client peut être activée individuellement. Elle peut être activée pour tous les visiteurs, ou uniquement pour les visiteurs non authentifiés.
L’analyse côté serveur signale les visites suivies à Dark Visitors. Elle enverra le chemin de la requête, l’adresse IP du visiteur, l’en-tête User-Agent et quelques autres en-têtes de navigateur.
Il existe des paramètres supplémentaires pour lesquels les requêtes sont signalées, voir les paramètres ci-dessous. Par défaut, seules les requêtes que Discourse marque pour le suivi des vues seront suivies. Les requêtes suivantes à Discourse ne seront jamais signalées :
- Requêtes à la section Admin
- Requêtes en arrière-plan et API
L’analyse côté client est gérée en ajoutant du Javascript à votre page qui contacte Dark Visitors dans certaines conditions :
- Le navigateur semble être automatisé ou un navigateur IA
- L’utilisateur provient d’un service de chat IA
Toutes les requêtes suivies comptent pour les événements qui affectent votre plan de paiement.
Configuration
Vous devez vous inscrire auprès de Dark Visitors afin d’utiliser ce plugin. Le niveau gratuit vous donne 1 000 000 d’événements par mois. Lorsque cette limite est atteinte, vous ne verrez plus d’événements récents dans leur analyse, mais vous pourrez toujours envoyer de nouvelles informations et continuer à utiliser le service robots.txt.
Après votre inscription, vous devez créer un projet (c’est-à-dire un site à suivre). Cela vous fournira un jeton d’accès nécessaire pour la fonctionnalité robots.txt et l’analyse côté serveur.
Lorsque vous activez la fonctionnalité robots.txt, il faut un peu de temps avant qu’elle ne soit mise à jour. Visitez https://votresite/robots.txt pour voir si cela fonctionne. Il devrait y avoir un commentaire en haut
# Augmenté par Dark Visitors le 2025-05-07T12:46:00+00:00 avec 28 agents
Lorsque vous activez l’analyse côté serveur, vous pouvez tester si cela fonctionne en demandant une visite de test depuis les paramètres du projet Dark Visitor. Cela peut prendre quelques secondes. Vous devriez voir le résultat sur la page Temps réel de Dark Visitors.
Paramètres
| Nom | Description |
|---|---|
| darkvisitors enabled | Indicateur global pour activer l’ensemble du plugin |
| darkvisitors access token | Le jeton d’accès secret nécessaire pour le robots.txt et l’analyse côté serveur afin de communiquer avec Dark Visitors. Vous le trouverez dans votre projet Dark Visitor sous paramètres. |
| darkvisitors robots txt enabled | Lorsqu’il est activé, le robots.txt de Discourse sera augmenté avec des agents supplémentaires |
| darkvisitors robots txt agents | Le type d’agents à ajouter au robots.txt. |
| darkvisitors robots txt path | Le chemin auquel refuser l’accès aux agents. Il est probablement préférable de laisser cela à / afin que l’accès à l’ensemble du site soit refusé. |
| darkvisitors server analytics | Active l’analyse côté serveur. Je recommande de ne l’activer que pour les utilisateurs anonymes. |
| darkvisitors server analytics include | Requêtes supplémentaires à suivre. Vous pouvez également suivre les requêtes vers les fichiers téléchargés, ou même les requêtes 404 Not Found. |
| darkvisitors server analytics ignore | Sous-chaînes dans les agents utilisateur à ignorer (sensible à la casse). Si vous utilisez la surveillance de disponibilité, je vous suggère fortement d’inclure leur agent utilisateur identificateur dans cette liste. |
| darkvisitors client analytics | Active l’analyse côté client. Cela vous donnera également un aperçu des utilisateurs normaux visitant votre forum tout en venant d’un service de chat IA. |
| darkvisitors client analytics project key | Pour l’analyse côté client, vous devez configurer la clé de projet (publique). Vous la trouverez dans les paramètres de votre projet Dark Visitors dans la section Balise JavaScript, c’est le code après project_key= |
