Мы используем SSO с сайтом на WordPress, так как у нас могут быть краулеры? Их количество невелико, но это конфиденциальная информация, поэтому даже небольшое число краулеров вызывает беспокойство. Типичное распределение объединённых просмотров страниц в день выглядит так:
Зарегистрированные пользователи: 5000
Анонимные пользователи: 20 (Это происходит при переходе на страницу входа, поэтому нас это не беспокоит)
Краулеры: 5 (Как так?)
Я прочитал статью Smarter handling of random crawler traffic и примерно понимаю, что обнаружение краулеров не идеально. Стоит ли мне беспокоиться?
Кажется невозможным, чтобы какой-либо легитимный зарегистрированный пользователь запускал парсер.
