MegaIndexボットが1日で約4,000ページビューを実行

更新:2022年8月13日

ボットは2022年8月4日(クローラーサイト)に当サイトを再度訪問しました。

レポート:統合ページビュー

レポート:ウェブクローラーのユーザーエージェント

レポート:トップトラフィックソース

明らかに、MegaIndex.ru/2.0ボットにサイトをインデックスさせることは、サイトへのトラフィックを生成していないようです。
注:私の知る限り、yandex.ruはMegaindex.ruとは異なります。


クローラーをブロックするには、robots.txtがありますが、指摘されているように

https://<Discoruseサイト>/admin/customize/robots

しかし、すべてのクローラーがrobots.txtを尊重するわけではありません。:slightly_frowning_face:


IAmGav上記で指摘したように、他のクローラー設定もあります。

「いいね!」 4