Dans le tableau de bord de la communauté, je vois de nombreux robots d’indexation se connecter au site. Je ne parviens pas à savoir qui ils sont et comment ils sont arrivés ici.
Qui sont ces visiteurs ?
Comment puis-je examiner leur activité et le type d’activité qu’ils effectuent ?
Comment peuvent-ils être suivis ?
Vérifiez /admin/reports/web_crawlers pour obtenir un rapport détaillé sur les robots d’exploration. Vous pourrez ensuite bloquer ceux qui ne vous semblent pas utiles en les ajoutant au paramètre du site blocked crawler user agents. Ce paramètre accepte un mot insensible à la casse présent dans la chaîne d’agent utilisateur.
Désolé de remonter ce sujet, mais je n’ai pas encore trouvé ce que je cherchais. D’une part, les statistiques de l’outil d’exploration disponibles sur la page des rapports me donnent des informations sur le nombre de pages consultées par les robots d’exploration et leurs agents utilisateurs, mais peu d’autres éléments sur la façon d’utiliser ces données. Les robots d’exploration ne me posent généralement aucun problème, mais les pics d’accès rendent presque inutilisables les statistiques du tableau de bord.
Comme vous pouvez le voir, un seul pic le 16 décembre entraîne une compression de tous les graphiques au point de les rendre difficiles à lire. De plus, quelle valeur a cette information ? Aucune. C’était le jour de la panne de Google la semaine dernière ; probablement, dès que Google est revenu en ligne, tous ces robots d’exploration ont intensifié leur activité. Big deal.
Ma question est donc la suivante : puis-je exclure les robots d’exploration des statistiques principales du tableau de bord d’administration ?