一部のユーザーエージェントを無視できますか？

[hiddenseal]

クローラーとして登録されていることを考慮して、これを試してください

@codinghorror

これはサイト設定で可能になりました。「crawler」を検索してください。具体的には「blocked crawler user agents」です。