Amélioration de la détection et du marquage des crawlers probables dans vos données de trafic

Le tableau de bord d’administration peut désormais identifier le trafic potentiellement issu de robots — les bots automatisés et les scrapers qui utilisent du JavaScript de navigateur réel mais qui ne sont pas des visiteurs humains — et séparer ces vues de page de vos statistiques de trafic légitime.

Dans ce sujet, nous partagerons notre approche pour identifier ce type de trafic et vous expliquerons comment activer cette fonctionnalité dès aujourd’hui.

:microscope: Ce qui a changé

Discourse a toujours filtré les Crawlers (robots) s’identifiant avec des agents utilisateur de bot standards (Googlebot, par exemple) dans une catégorie distincte des données de trafic du site. Mais le trafic automatisé moderne est plus subtil : il exécute un navigateur complet, du JavaScript, et se fond dans vos données de vues de page comme s’il s’agissait d’une vraie visite. Les administrateurs voyaient alors des pics de trafic dans les vues de page Anonymes qui s’avéraient être des scrapers, ou des compteurs de visiteurs gonflés par des bots IA — sans moyen de les distinguer du vrai trafic humain anonyme (c’est-à-dire non connecté).

Cette mise à jour ajoute une catégorie Robots probables (Likely Crawlers) à vos données de trafic du site. Lorsque la détection améliorée des robots est activée, les vues de page que nos heuristiques marquent comme probablement automatisées sont séparées, ce qui rend vos statistiques de trafic humain plus précises.

Comment fonctionne la détection

Le système attribue un score à chaque vue de page via le navigateur en utilisant un ensemble de signaux comportementaux :

  • Agent utilisateur d’automatisation — l’agent utilisateur (UA) mentionne explicitement un navigateur sans interface graphique ou un outil d’automatisation (HeadlessChrome, Playwright, Puppeteer, Selenium, PhantomJS, jsdom)
  • ASN de datacenter — l’adresse IP appartient à l’espace d’adresses d’un grand fournisseur de cloud ou d’hébergement
  • Vélocité — l’adresse IP et l’agent utilisateur génèrent un nombre inhabituellement élevé de vues de page par heure
  • Navigation rapide — l’écart médian entre les vues de page est inférieur à 5 secondes
  • Rotation de session — de nombreuses sessions courtes (la plupart d’une seule page) provenant de la même combinaison IP + agent utilisateur
  • Absence d’engagement — aucune interaction humaine enregistrée (mouvements de souris, frappes au clavier, défilement) pour une session et ses sessions voisines. Ce signal a plus de poids pour le trafic anonyme que pour le trafic connecté.
  • Ratio de référents anormaux — la plupart des vues de page arrivent sans référent ou avec un référent externe, ce qui suggère un accès direct via URL plutôt qu’une navigation à travers le site
  • Requête directe unique — une vue de page unique sans engagement ni référent ; le score est plus élevé si l’URL contient un paramètre de langue
  • Chromium obsolète — une version ancienne de Chrome sans signaux d’engagement
  • Trafic distribué — certains robots font pivoter les adresses IP et démarrent une nouvelle session pour presque chaque vue de page. Nous recherchons désormais des motifs dans les visites anonymes qui partagent un agent utilisateur et soit un réseau, soit une source de référence externe

Les scores issus de plusieurs signaux s’additionnent ; lorsqu’une vue de page présente un certain nombre des signaux ci-dessus, elle est classée comme robot probable (likely crawler).

:gear: Activer la détection améliorée des robots dans votre communauté

Pour l’instant, ce changement est considéré comme expérimental. Nous ajustons toujours les heuristiques de détection et accueillons volontiers vos retours.

Pour l’activer, rendez-vous sur la page Changements à venir dans votre zone d’administration et trouvez l’élément Détection améliorée des robots. Mettez à jour le champ Activé pour… pour choisir d’activer cette option sur votre site.

Une fois activée, la section Trafic du site de votre tableau de bord d’administration affichera les robots probables comme une catégorie distincte.

:warning: Remarques importantes :

  • Il ne s’agit pas d’une science exacte et nous continuerons à affiner nos heuristiques au fil du temps. Cependant, nous ne recomputerons pas les données historiques à mesure que nous mettrons à jour ces calculs.
  • Classer une vue de page comme robot probable ne bloque ni ne limite en débit la requête.
  • Les vues de page des robots probables sont exclues des référents, des pays et des autres ventilations de trafic — de la même manière que les robots connus sont gérés actuellement.
  • Les modifications des règles de détection ne reprocessent pas automatiquement tout le trafic historique.

:mega: Qu’en pensez-vous ?

Nous aimerions beaucoup avoir vos retours — en particulier de la part des communautés qui ont remarqué des schémas de trafic inhabituels ou des pics inexplicables. Les chiffres semblent-ils corrects pour votre site ? Y a-t-il des visites marquées comme bots qui vous semblent être de vrais utilisateurs ? Partagez ce que vous observez dans ce sujet.

21 « J'aime »

Ça a l’air bien, mais est-ce que ça prend aussi en compte les utilisateurs connectés pour ces signaux ?

1 « J'aime »

Les likely crawler seront-ils toujours comptés dans la limite mensuelle de vues de page ? :slightly_smiling_face:

1 « J'aime »

J’ai oublié de modifier l’URL d’un élément que j’avais collé en utilisant un modèle, et sur un forum en construction, j’ai enregistré une augmentation de 35 000 %.

J’ai toujours la tâche en attente d’installer un petit modèle local pour nettoyer toutes les références réelles à ce sur quoi je travaille.

C’est génial d’avoir cette option comme second filtre. Merci de l’avoir créée.

C’est une bonne question, et nous n’avons pas encore pris de décision à ce sujet — nous prévoyons de devoir affiner nos modèles de détection de robots, et comme il s’agit d’une fonctionnalité facultative, nous ne savons pas encore quel impact cela aura, le cas échéant, sur les limites de pages vues.

Nous aborderons ce point en interne et je reviendrai vers vous pour vous tenir informé !

4 « J'aime »

Merci pour le travail fourni ici. La prochaine étape probable consistera-t-elle à permettre de prendre des mesures à leur égard une fois que vous serez satisfait de l’algorithme de détection ?

2 « J'aime »

Ce serait génial si nous pouvions obtenir la liste des user agents qu’il a identifiés, ou qu’il considère comme étant probablement des bots/crawlers.

Cela permettrait de les ajouter aux groupes bloqués ou soumis à une limitation de débit.

3 « J'aime »

Oui, nous essayons également de détecter les automatisations avec des utilisateurs connectés. Sur Meta, nous avons trouvé quelques « utilisateurs » de niveau de confiance 0 qui balayaient le site.

2 « J'aime »

Le défi est que les « probables crawlers » utilisent très souvent des agents utilisateurs légitimes. Parfois, la version du navigateur semble assez ancienne, mais ce n’est pas un signal suffisamment fort pour la considérer comme un robot probable. C’est pourquoi nous collectons de nombreuses métriques et essayons de les combiner pour évaluer la probabilité.

Lorsque le crawler se présente honnêtement via un agent utilisateur comme Bingbot ou Googlebot, il atterrit directement dans la catégorie « crawlers ».

2 « J'aime »

C’est vrai. Grâce aux statistiques que l’équipe Discourse pouvait extraire du backend, il s’agissait souvent d’agents utilisateurs plus obscurs, présentant généralement une hausse à court terme des motifs d’accès, ce qui nous permettait d’en éliminer quelques-uns de la liste sans impacter les utilisateurs.

Ce n’est pas une science exacte. Pouvoir associer ces données à des zones géographiques spécifiques permettrait probablement d’obtenir une meilleure résolution lors de leur gestion.

2 « J'aime »