Aggiornamento: 13/08/2022
Il bot ha visitato il nostro sito di nuovo il 04/08/2022 (crawler site)
Report: Visualizzazioni di pagina consolidate
Report: User Agent Web Crawler
Report: Sorgente di traffico principale
Chiaramente, consentire al bot MegaIndex.ru/2.0 di indicizzare il sito non sembra generare traffico verso il sito.
Nota: Per quanto ne so, yandex.ru è diverso da Megaindex.ru.
Per bloccare i crawler c’è robots.txt che come notato
https:///admin/customize/robots
ma non tutti i crawler rispetteranno robots.txt. 
Come notato sopra da IAmGav ci sono altre impostazioni per i crawler.
