Crawler no identificado con gran cantidad de visitas a páginas

¡Hola a todos!

Al revisar el recuento de vistas de página de nuestro rastreador, parece haber una entrada no identificada que ha acumulado más de 500 000 vistas de página en un mes:

¿Hay alguna forma sencilla de averiguar qué podría ser? Parece promediar entre 10 000 y 15 000 impactos o más al día.

Si estás en nuestro soporte de correo electrónico de alojamiento, podemos ocuparnos nosotros mismos.

Somos un proyecto de software libre autoalojado, así que supongo que eso queda descartado :slight_smile:

Sé que podría añadir más filtros y pedirle a nuestro experto en infraestructura que revise más registros; supongo que solo me preguntaba si alguien más ha visto esto antes.

Consulta los registros de nginx (access.log) para encontrar las solicitudes que provienen con ese agente de usuario y la IP correspondiente.

Acabo de reunirme en persona con nuestro principal administrador de sistemas y lo resolví. Es HAProxy realizando una comprobación de estado cada 5 segundos :joy:

Las verificaciones de estado deben establecer un User Agent adecuado, para que esto no vuelva a ocurrir. Además, puedes usar la ruta /srv/status para realizar verificaciones de estado.

“Sí, debería, pero soy perezoso.” - Administrador de sistemas

Veré qué puedo hacer. ¡Gracias!