Oui, bien sûr, j’ai oublié de préciser que je gère ce nettoyage crawler par crawler, avec une analyse presque hebdomadaire pour identifier celui qui envahit le plus le site, et je le bloque un par un.
Ce qui m’inquiète, c’est que l’ajout de tant de bots à la liste noire puisse affecter les performances du site d’une manière ou d’une autre.
J’ai donc pensé que, plutôt que de les bloquer un par un, la meilleure solution pourrait être d’ajouter les bots essentiels à la liste blanche et de bloquer tous les autres. Mais… existe-t-il vraiment des trackers essentiels ?
J’ai cherché sur le forum pour voir s’il existait un débat « dédié » aux crawlers essentiels, mais je n’en ai pas trouvé. Si vous connaissez un sujet lié à cela, merci de me l’indiquer.