Mise à jour : 13/08/2022
Le bot a visité notre site le 04/08/2022 (site de crawler)
Rapport : Vues de page consolidées
Rapport : Agents utilisateurs du robot d’exploration Web
Rapport : Principale source de trafic
Il est clair que le fait de laisser le bot MegaIndex.ru/2.0 indexer le site ne génère pas de trafic vers le site.
Note : Pour autant que je sache, yandex.ru est différent de Megaindex.ru.
Pour bloquer les robots d’exploration, il existe robots.txt qui, comme indiqué
https:///admin/customize/robots
mais tous les robots d’exploration ne respecteront pas robots.txt. ![]()
Comme l’a noté ci-dessus par IAmGav, il existe d’autres paramètres de crawler.



