 |
Résumé | Intègre le service Known Agents avec Discourse pour suivre les crawlers et scrapers indésirables visitant votre forum. |
 |
Lien du dépôt | https://github.com/magicball-network/discourse-darkvisitors |
 |
Guide d’installation | Comment installer des plugins dans Discourse |
Fonctionnalités
Known Agents est un service qui suit les agents (crawlers, scrapers et autres types de bots) visitant vos sites web. Leur attention principale est portée à l’analyse des agents IA.
Il offre deux services :
- Génération et surveillance de robots.txt
- Analytique des agents
Le service robots.txt est gratuit. Le service analytique propose une offre gratuite. Je vous suggère de visiter leur site web pour plus d’informations.
Ce plugin Discourse se connecte à tous ces services, chacun étant optionnel et configurable dans une certaine mesure.
Génération de robots.txt
Discourse fournit déjà une option pour configurer robots.txt. Ce plugin l’étend. Lorsque activé, le plugin récupère une liste d’agents dans différentes catégories (actuellement, seules les catégories IA sont prises en charge) et ajoute ceux qui manquent parmi les agents déjà configurés. La liste sera mise à jour quotidiennement. Ainsi, lorsqu’un nouveau scraper IA est identifié, il sera ajouté à votre robots.txt.
Cette fonctionnalité ne fonctionne que si Discourse gère robots.txt et que vous ne l’avez pas remplacée manuellement. Le plugin ne modifie pas le paramètre Blocked crawler user agents, il enrichit robots.txt avec les nouveaux agents manquants. Vous gardez donc le contrôle total de la gestion de cette liste.
Lorsque vous consultez le robots.txt de votre site, vous verrez un commentaire en tête indiquant la dernière mise à jour et le nombre d’agents retournés par Known Agents. Les agents non encore configurés sont ajoutés à la fin de la liste. Ils devraient se situer entre Googlebot et la directive sitemap (si configurée).
Analytique des agents
Elle peut être activée pour tous les visiteurs, ou uniquement pour les visiteurs non authentifiés.
L’analytique côté serveur signale les visites suivies à Known Agents. Elle enverra le chemin de la requête, l’adresse distante du visiteur, l’en-tête User-Agent et quelques autres en-têtes navigateur.
Il existe certains paramètres supplémentaires déterminant quelles requêtes sont signalées, voir les paramètres ci-dessous. Par défaut, seules les requêtes que Discourse marque comme devant être suivies en tant que vues seront suivies. Les requêtes suivantes vers Discourse ne seront jamais signalées :
- Requêtes vers la section Admin
- Requêtes en arrière-plan et API
Toutes les requêtes suivies comptent dans les événements qui affectent votre plan de paiement.
Configuration
Vous devez vous inscrire sur Known Agents pour utiliser ce plugin. L’offre gratuite vous donne droit à 100 000 événements par mois. Lorsque cette limite est atteinte, vous ne verrez plus les nouveaux événements dans leur analytique, mais vous pouvez toujours envoyer de nouvelles informations et continuer à utiliser le service robots.txt.
Après votre inscription, vous devez créer un projet (c’est-à-dire un site à suivre). Cela vous fournira un jeton d’accès nécessaire pour la fonctionnalité robots.txt et l’analytique côté serveur.
Lorsque vous activez la fonctionnalité robots.txt, il faut un court délai avant qu’elle ne soit mise à jour. Visitez https://votresite/robots.txt pour vérifier si elle fonctionne. Il devrait y avoir un commentaire en haut
# Augmented by Dark Visitors on 2025-05-07T12:46:00+00:00 with 28 agents
Lorsque vous activez l’analytique côté service, vous pouvez tester si elle fonctionne en demandant une visite de test depuis les paramètres du projet Known Agents. Cela peut prendre quelques secondes. Vous devriez voir le résultat sur la page Temps réel de Known Agents.
Paramètres
| Nom | Description |
|---|---|
| darkvisitors enabled | Drapeau global pour activer l’ensemble du plugin |
| darkvisitors access token | Le jeton d’accès secret nécessaire pour robots.txt et l’analytique côté serveur afin de communiquer avec Known Agents. Vous le trouverez dans votre projet Known Agents sous settings. |
| darkvisitors robots txt enabled | Lorsque activé, le robots.txt de Discourse sera enrichi avec des agents supplémentaires |
| darkvisitors robots txt agents | Le type d’agents à ajouter au robots.txt. |
| darkvisitors robots txt path | Le chemin auquel refuser l’accès aux agents. Il est probablement préférable de laisser cette valeur sur / afin que l’accès à l’ensemble du site soit refusé. |
| darkvisitors server analytics | Active l’analytique côté serveur. Je recommande de ne l’activer que pour les utilisateurs anonymes. |
| darkvisitors server analytics include | Requêtes supplémentaires à suivre. Vous pouvez également suivre les requêtes vers les fichiers téléversés, voire les requêtes 404 Not Found. |
| darkvisitors server analytics ignore | Sous-chaînes dans les user agents à ignorer (sensibles à la casse). Si vous utilisez une surveillance de disponibilité, je vous suggère fortement d’inclure leur user agent identificatif dans cette liste. |
