こんにちは。当フォーラムでは、クローラーが非常に多く、平均で8万1千〜9万ものアクセスがあります。これにより何か問題が起きるでしょうか？もし問題がある場合、悪質なクローラーのアクセスを無効にするにはどうすればよいでしょうか？
ブラックリストに登録したクローラーのユーザーエージェントは以下の通りです。
また、アクセス速度を制限したクローラーのユーザーエージェントは以下の通りです。
よろしくお願いいたします。
詳細な数値は、各クローラーごとに以下のページで確認できます。
your.site.com/admin/reports/web_crawlers
異常な動作をするクローラーが見つかった場合は、そのユーザーエージェントから固有の文字列を blacklisted_crawler_user_agents 設定に追加することで、そのクローラーをブロックできます。
お早いご返信をありがとうございます。あるクローラーが1,695,285回の表示数を記録しているのですが、これは正常でしょうか？
もう一つ質問ですが、フォーラムに解決済みボタンを追加するにはどうすればよいでしょうか？プラグインのインストールが必要ですか？
よろしくお願いいたします。
それは、あなたのサイトの規模や、そのクローラーのユーザーエージェントによります。例えば、Googlebotをブロックしたくはないでしょう。
こちらをご覧ください
ブロックすべきではないボットにはどのようなものがありますか？また、ボットの名前を統合されたページビューダッシュボードから特定する方法はありますか？
問題を起こしているボットのみをブロックし、それ以外はブロックしないようにしてください。
前の投稿で述べた通り、以下のURLにアクセスしてください。
your.site.com/admin/reports/web_crawlers
すると、サイト上のすべてのクローラーとそのクローラーごとのページビュー数が一覧表示されます。そのページのスクリーンショットを撮って、ここに投稿していただけますか？
