Le bot MegaIndex a effectué environ 4 000 visites de pages en une journée

Mise à jour : 13/08/2022

Le bot a visité notre site le 04/08/2022 (site de crawler)

Rapport : Vues de page consolidées

Rapport : Agents utilisateurs du robot d’exploration Web

Rapport : Principale source de trafic

Il est clair que le fait de laisser le bot MegaIndex.ru/2.0 indexer le site ne génère pas de trafic vers le site.
Note : Pour autant que je sache, yandex.ru est différent de Megaindex.ru.


Pour bloquer les robots d’exploration, il existe robots.txt qui, comme indiqué

https:///admin/customize/robots

mais tous les robots d’exploration ne respecteront pas robots.txt. :slightly_frowning_face:


Comme l’a noté ci-dessus par IAmGav, il existe d’autres paramètres de crawler.

4 « J'aime »