更新:2022年8月13日
ボットは2022年8月4日(クローラーサイト)に当サイトを再度訪問しました。
レポート:統合ページビュー
レポート:ウェブクローラーのユーザーエージェント
レポート:トップトラフィックソース
明らかに、MegaIndex.ru/2.0ボットにサイトをインデックスさせることは、サイトへのトラフィックを生成していないようです。
注:私の知る限り、yandex.ruはMegaindex.ruとは異なります。
クローラーをブロックするには、robots.txtがありますが、指摘されているように
https://<Discoruseサイト>/admin/customize/robots
しかし、すべてのクローラーがrobots.txtを尊重するわけではありません。![]()



