Le tableau de bord d’administration peut désormais identifier le trafic potentiellement issu de robots — les bots automatisés et les scrapers qui utilisent du JavaScript de navigateur réel mais qui ne sont pas des visiteurs humains — et séparer ces vues de page de vos statistiques de trafic légitime.
Dans ce sujet, nous partagerons notre approche pour identifier ce type de trafic et vous expliquerons comment activer cette fonctionnalité dès aujourd’hui.
Ce qui a changé
Discourse a toujours filtré les Crawlers (robots) s’identifiant avec des agents utilisateur de bot standards (Googlebot, par exemple) dans une catégorie distincte des données de trafic du site. Mais le trafic automatisé moderne est plus subtil : il exécute un navigateur complet, du JavaScript, et se fond dans vos données de vues de page comme s’il s’agissait d’une vraie visite. Les administrateurs voyaient alors des pics de trafic dans les vues de page Anonymes qui s’avéraient être des scrapers, ou des compteurs de visiteurs gonflés par des bots IA — sans moyen de les distinguer du vrai trafic humain anonyme (c’est-à-dire non connecté).
Cette mise à jour ajoute une catégorie Robots probables (Likely Crawlers) à vos données de trafic du site. Lorsque la détection améliorée des robots est activée, les vues de page que nos heuristiques marquent comme probablement automatisées sont séparées, ce qui rend vos statistiques de trafic humain plus précises.
Comment fonctionne la détection
Le système attribue un score à chaque vue de page via le navigateur en utilisant un ensemble de signaux comportementaux :
- Agent utilisateur d’automatisation — l’agent utilisateur (UA) mentionne explicitement un navigateur sans interface graphique ou un outil d’automatisation (HeadlessChrome, Playwright, Puppeteer, Selenium, PhantomJS, jsdom)
- ASN de datacenter — l’adresse IP appartient à l’espace d’adresses d’un grand fournisseur de cloud ou d’hébergement
- Vélocité — l’adresse IP et l’agent utilisateur génèrent un nombre inhabituellement élevé de vues de page par heure
- Navigation rapide — l’écart médian entre les vues de page est inférieur à 5 secondes
- Rotation de session — de nombreuses sessions courtes (la plupart d’une seule page) provenant de la même combinaison IP + agent utilisateur
- Absence d’engagement — aucune interaction humaine enregistrée (mouvements de souris, frappes au clavier, défilement) pour une session et ses sessions voisines. Ce signal a plus de poids pour le trafic anonyme que pour le trafic connecté.
- Ratio de référents anormaux — la plupart des vues de page arrivent sans référent ou avec un référent externe, ce qui suggère un accès direct via URL plutôt qu’une navigation à travers le site
- Requête directe unique — une vue de page unique sans engagement ni référent ; le score est plus élevé si l’URL contient un paramètre de langue
- Chromium obsolète — une version ancienne de Chrome sans signaux d’engagement
- Trafic distribué — certains robots font pivoter les adresses IP et démarrent une nouvelle session pour presque chaque vue de page. Nous recherchons désormais des motifs dans les visites anonymes qui partagent un agent utilisateur et soit un réseau, soit une source de référence externe
Les scores issus de plusieurs signaux s’additionnent ; lorsqu’une vue de page présente un certain nombre des signaux ci-dessus, elle est classée comme robot probable (likely crawler).
Activer la détection améliorée des robots dans votre communauté
Pour l’instant, ce changement est considéré comme expérimental. Nous ajustons toujours les heuristiques de détection et accueillons volontiers vos retours.
Pour l’activer, rendez-vous sur la page Changements à venir dans votre zone d’administration et trouvez l’élément Détection améliorée des robots. Mettez à jour le champ Activé pour… pour choisir d’activer cette option sur votre site.
Une fois activée, la section Trafic du site de votre tableau de bord d’administration affichera les robots probables comme une catégorie distincte.
Remarques importantes :
- Il ne s’agit pas d’une science exacte et nous continuerons à affiner nos heuristiques au fil du temps. Cependant, nous ne recomputerons pas les données historiques à mesure que nous mettrons à jour ces calculs.
- Classer une vue de page comme robot probable ne bloque ni ne limite en débit la requête.
- Les vues de page des robots probables sont exclues des référents, des pays et des autres ventilations de trafic — de la même manière que les robots connus sont gérés actuellement.
- Les modifications des règles de détection ne reprocessent pas automatiquement tout le trafic historique.
Qu’en pensez-vous ?
Nous aimerions beaucoup avoir vos retours — en particulier de la part des communautés qui ont remarqué des schémas de trafic inhabituels ou des pics inexplicables. Les chiffres semblent-ils corrects pour votre site ? Y a-t-il des visites marquées comme bots qui vous semblent être de vrais utilisateurs ? Partagez ce que vous observez dans ce sujet.

