WordPress サイトで SSO を使用しているため、クローラーをどのように扱うべきか教えていただけますか？数は少ないですが、機密情報であるため、わずか数体のクローラーでも懸念となります。日々のページビューの集計内訳は通常以下の通りです。
ログイン済みユーザー: 5000
匿名ユーザー: 20（ログインページへのアクセスで発生するため、これは問題ありません）
クローラー: 5（なぜ？）
Smarter handling of random crawler traffic を読みましたが、クローラー検出が完璧ではないことは大まかに理解しています。懸念すべきでしょうか？
正当なログイン済みユーザーがスクレイパーを実行しているとは考えられません。
