Atualização: 13/08/2022
O bot visitou nosso site novamente em 04/08/2022 (site do crawler)
Relatório: Pageviews Consolidadas
Relatório: User Agents do Web Crawler
Relatório: Principal Fonte de Tráfego
Claramente, permitir que o bot MegaIndex.ru/2.0 indexe o site não parece estar gerando tráfego para o site.
Nota: Pelo que sei, yandex.ru é diferente de Megaindex.ru.
Para bloquear crawlers, existe o robots.txt que, como observado
https://<Discoruse site>/admin/customize/robots
mas nem todos os crawlers respeitarão o robots.txt. 
Como observado acima por IAmGav, existem outras configurações de crawler.
