Nous utilisons l’authentification unique (SSO) avec un site WordPress, alors comment pouvons-nous avoir des robots d’indexation ? Le nombre est faible, mais il s’agit d’informations sensibles, donc même un petit nombre de robots d’indexation est préoccupant. Voici la répartition typique de nos vues de page consolidées chaque jour :
Utilisateurs connectés : 5000
Utilisateurs anonymes : 20 (Accéder à la page de connexion déclenche cela, donc ce n’est pas une préoccupation)
Robots d’indexation : 5 (Comment ?)
J’ai lu Smarter handling of random crawler traffic et je comprends vaguement que la détection des robots d’indexation n’est pas parfaite. Dois-je m’inquiéter ?
Il semble inconcevable qu’un utilisateur connecté légitime exécute un scraper.
