안녕하세요, 여러분!
크롤러 페이지 조회 수를 살펴보니, 한 달 동안 50만 회 이상의 페이지 조회를 기록하는 정체불명의 항목이 있는 것 같습니다:
이것이 무엇인지 알아볼 수 있는 간단한 방법이 있을까요? 하루 평균 10,000~15,000회 이상의 히트를 기록하는 것 같습니다.
저희 호스팅 이메일 지원팀에 문의하시면, 저희가 대신 처리해 드리겠습니다.
저희는 자체 호스팅되는 FLOSS 프로젝트라서, 그런 건 불가능할 것 같습니다 ![]()
추가로 필터링을 더 설정하고 인프라 담당자에게 더 많은 로그를 확인하도록 할 수는 있겠지만, 다른 분들도 이런 문제를 겪어보셨는지 궁금해서 물어봅니다.
nginx 로그(access.log)에서 해당 사용자 에이전트와 관련 IP로 들어온 요청을 확인하세요.
방금 리드 SysAdmin과 직접 만나서 원인을 파악했습니다. HAProxy가 5초마다 헬스 체크를 수행하고 있더라고요 ![]()
헬스 체크에서는 적절한 User Agent를 설정해야 합니다. 그래야 이런 문제가 다시 발생하지 않습니다. 또한 헬스 체크에 /srv/status 라우트를 사용할 수 있습니다.
“네, 그래야 하는데… 저는 게으르거든요.” - SysAdmin
해볼 수 있는 것을 찾아보겠습니다. 감사합니다!