Обновление: 13.08.2022
Бот снова посетил наш сайт 04.08.2022 (сайт краулера)
Отчёт: Сводные просмотры страниц
Отчёт: User Agents веб-краулеров
Отчёт: Основной источник трафика
Очевидно, что разрешение боту MegaIndex.ru/2.0 индексировать сайт не приводит к росту трафика на сайте.
Примечание: Насколько мне известно, yandex.ru отличается от Megaindex.ru.
Для блокировки краулеров существует файл robots.txt, как отмечено в:
https://<Сайт Discourse>/admin/customize/robots
однако не все краулеры уважают robots.txt. 
Как отмечалось выше пользователем IAmGav, существуют и другие настройки для краулеров.
