管理者アクセス権を持つ方は、Webクローラーのユーザーエージェントを確認してください。
例：実際のリンク、必要に応じてサイトのURLを変更してください。
https://swi-prolog.discourse.group/admin/reports/web_crawlers
当サイトでは、Mastodonエージェントが急増しています。これらのエージェントはMastodonサイトからのものだと疑っています。現在Mastodonは使用していないため、これが当サイトにとって潜在的な問題なのか、それとも単に注意すべきことなのかを調査する必要があります。
Webページに表示されるレポートでは必要な情報の一部が省略されているため、レポートをダウンロードしました。
web-crawlers-251023-084425-10.zip (4.3 KB)
最後に、以下のような行に注目してください。
http.rb/5.1.1 (Mastodon/4.2.20; +https://acc4e.com/),1
どなたか、以下の点についてさらに詳しい情報を教えていただけますでしょうか。
- これらのエージェントはMastodonソーシャルネットワークサイトに関連していますか？
- Mastodonの仕組み上、将来的にさらに増える可能性がありますか？つまり、Mastodonの設定や使用方法の副作用として意図せず作成されているのでしょうか？
- Discourseサイトにとって価値がない場合、クローラーとして拒否すべき/できますか？
現時点では差し迫った問題ではありません。Mastodonエージェントはすべてページビューが1であるのに対し、Mozilla/5.0エージェントのリストの上位は37,279を示しています。