提案
AIがサイトを定期的にクロールしているが、訪問を生成していないウェブクローラーを特定し、管理者のレビューのためにフラグを立てます。
さらに、統合ページビューレポートを変更して、クローラーをより詳細に分類します。
- 訪問を生成するクローラー
- 一時的なクローラー
- その他
毎日または繰り返しサイトを訪問する多くのウェブクローラーがありますが、SWI-Prologのようなサイトでは、ページビューが急増してもサイトにメリットがないことがよくあります。ほとんどの場合、これらは検索エンジンサイトですが、検索エンジンが訪問を生成していない場合は、サイトのクロールを許可しないように除外する必要があります。
悪質なウェブクローラーを停止する理想的な方法がないことは承知していますが、そのようなウェブクローラーからの不要なページビューの数を減らすことは、長期的には実際のお金と時間を節約することにつながります。