Bonjour, sur notre forum, nous avons beaucoup trop de robots d’indexation, en moyenne entre 81 000 et 90 000 ! Cela va-t-il poser des problèmes ? Si oui, comment puis-je empêcher les mauvais robots d’indexation de crawler ?
J’ai listé les agents utilisateur des robots d’indexation interdits comme suit :
J’ai également ralenti les agents utilisateur des robots d’indexation suivants :
Merci.
Vous pouvez consulter des chiffres détaillés par moteur d’indexation en visitant
your.site.com/admin/reports/web_crawlers
Si vous remarquez un moteur d’indexation inhabituel qui se comporte de manière anormale, vous pouvez ajouter une chaîne unique issue de son user agent au paramètre blacklisted_crawler_user_agents, ce qui entraînera son blocage.
Merci pour cette réponse rapide. J’ai remarqué qu’un robot d’indexation a enregistré 1 695 285 vues ; est-ce normal ou non ?
J’ai également une autre question : comment puis-je ajouter le bouton solution sur mon forum ? Dois-je installer des plugins ?
Merci.
Eh bien, cela dépend de la taille de votre site et de l’agent utilisateur de ce robot. Vous ne voulez pas bloquer Googlebot, par exemple.
Jetez un coup d’œil ici
Quels sont les bots qu’il ne faut pas bloquer ? Et y a-t-il un moyen de trouver le nom des bots depuis les tableaux de bord consolidés des vues de page ?
Vous ne devriez bloquer que les bots qui se comportent mal et laisser le reste débloqué.
Comme je l’ai mentionné dans mon message précédent. Si vous allez sur
your.site.com/admin/reports/web_crawlers
Vous obtiendrez une liste complète de tous les robots d’exploration sur votre site et le nombre de vues de page par robot. Pouvez-vous faire une capture d’écran de cette page et la poster ici ?
