コミュニティ内のクローラー

チームの皆様、

コミュニティダッシュボードを確認すると、多くのクローラーがサイトにログインしていることがわかります。これらが誰で、どのようにここに到達したのかは把握できていません。

これらの訪問者は誰でしょうか?
彼らの活動内容や、どのような活動を行っているかをどのように確認できますか?
どのように追跡できますか?

この情報についてご教示ください。

良い一日をお過ごしください!

よろしくお願いいたします。
Vidyaranjan

Vidyaranjan さん、こんにちは。

詳細なクローラーレポートについては /admin/reports/web_crawlers を確認してみてください。その後、役に立たないクローラーを blocked crawler user agents サイト設定に追加してブロックできます。この設定では、ユーザーエージェント文字列に含まれる大文字小文字を区別しない単語を指定します。

スレッドを再び持ち上げてすみませんが、まだ探している答えが見つかりません。まず、レポートページが提供するクローラー統計は、クローラーによるページビュー数やユーザーエージェントに関する情報しか提供しておらず、その情報をどう活用すればよいかについてはほとんど示されていません。一般的にクローラー自体は問題ではありませんが、クローラーのアクセスが急増すると、ダッシュボードの統計がほぼ使用不能になってしまいます。

ご覧の通り、12月16日のわずかな増加がすべてのチャートを圧迫し、読み取りにくくなってしまいます。さらに、その情報にいったいどんな価値があるのでしょうか?ありません。先週のグーグルの障害発生日だったため、グーグルが復旧した直後に、多くのクローラーが活動を急増したのでしょう。大したことではありません。

そこで質問ですが、メインの管理ダッシュボードの統計からクローラーを除外することは可能でしょうか?

はい、可能です。ダッシュボードの上部に以下の 3 つのオプションが表示されています。

ログイン済みユーザー

匿名ユーザー

クローラー

「クローラー」をタップするだけで、除外されます。

ああ、どうもありがとうございます。これらをクリックできるなんて知りませんでした。