Update: 08/13/2022
Der Bot hat unsere Seite am 08.04.2022 erneut besucht (Crawler-Seite)
Bericht: Konsolidierte Seitenaufrufe
Bericht: Web-Crawler-User-Agents
Bericht: Top-Traffic-Quelle
Offensichtlich scheint das Indizieren der Website durch den Bot MegaIndex.ru/2.0 keinen Traffic auf die Website zu generieren.
Hinweis: Soweit ich weiß, ist yandex.ru etwas anderes als Megaindex.ru.
Zum Blockieren von Crawlern gibt es robots.txt, wie bereits erwähnt
https:///admin/customize/robots
aber nicht alle Crawler werden robots.txt respektieren. ![]()
Wie bereits oben von IAmGav erwähnt, gibt es andere Crawler-Einstellungen.



