Неопознанный краулер с большим количеством просмотров страниц

[anthonylavado]

Всем привет!

При анализе количества просмотров страниц нашим краулером мы обнаружили неизвестную запись, которая за месяц набрала более 500 тысяч просмотров:

Есть ли простой способ выяснить, что это может быть? Судя по всему, в среднем приходится от 10 000 до 15 000 и более запросов в день.

[codinghorror (Jeff Atwood)]

Если вы пользуетесь нашей почтовой поддержкой хостинга, мы можем решить это за вас.

[anthonylavado]

Мы — проект с открытым исходным кодом (FLOSS), который размещается самостоятельно, так что, полагаю, это исключено

Я знаю, что мог бы добавить больше фильтров и попросить нашего специалиста по инфраструктуре посмотреть больше логов — я просто хотел узнать, сталкивался ли кто-то ещё с этим раньше.

[Falco]

Проверьте логи nginx (access.log) на наличие запросов с этим user-agent и соответствующим IP-адресом.

[anthonylavado]

Я только что лично встретился с нашим главным системным администратором и всё выяснил. Это HAProxy, который проводит проверку работоспособности каждые 5 секунд

[Falco]

Проверки работоспособности должны устанавливать корректный User Agent, чтобы это больше не повторялось. Кроме того, для проверки работоспособности можно использовать маршрут /srv/status.

[anthonylavado]

«Да, должно быть — но я ленивый». — Системный администратор

Я посмотрю, что смогу сделать. Спасибо!