MegaIndex bot erzielte an einem Tag rund 4.000 Seitenaufrufe.

Update: 08/13/2022

Der Bot hat unsere Seite am 08.04.2022 erneut besucht (Crawler-Seite)

Bericht: Konsolidierte Seitenaufrufe

Bericht: Web-Crawler-User-Agents

Bericht: Top-Traffic-Quelle

Offensichtlich scheint das Indizieren der Website durch den Bot MegaIndex.ru/2.0 keinen Traffic auf die Website zu generieren.
Hinweis: Soweit ich weiß, ist yandex.ru etwas anderes als Megaindex.ru.


Zum Blockieren von Crawlern gibt es robots.txt, wie bereits erwähnt

https:///admin/customize/robots

aber nicht alle Crawler werden robots.txt respektieren. :slightly_frowning_face:


Wie bereits oben von IAmGav erwähnt, gibt es andere Crawler-Einstellungen.

4 „Gefällt mir“