팀 여러분,
커뮤니티 대시보드에서 사이트에 로그인하는 크롤러가 많이 보였습니다. 이들이 누구인지, 어떻게 이곳에 도달했는지 알 수 없어요.
이 방문자들은 누구인가요?
그들의 활동, 그리고 어떤 활동을 하고 있는지 어떻게 조사할 수 있나요?
그들을 어떻게 추적할 수 있나요?
이 정보에 대해 도움을 주시면 감사하겠습니다.
좋은 하루 보내세요!
감사합니다.
Vidyaranjan
Vidyaranjan님, 안녕하세요.
크롤러에 대한 자세한 보고서를 확인하려면 /admin/reports/web_crawlers를 살펴보세요. 이후 도움이 되지 않거나 유용하지 않다고 판단되는 크롤러를 blocked crawler user agents 사이트 설정에 추가하여 차단할 수 있습니다. 해당 설정은 사용자 에이전트 문자열에 포함된 대소문자를 구분하지 않는 단어를 입력받습니다.
다시 올리는 것이라 죄송하지만, 제가 찾는 것을 아직 정확히 찾지 못했습니다. 일단, 리포트 페이지에서 제공하는 크롤러 통계는 크롤러 페이지 뷰 수와 사용자 에이전트에 대한 정보를 제공하지만, 그 정보를 어떻게 활용해야 하는지에 대해서는 거의 알려주지 않습니다. 크롤러 자체는 저에게 큰 문제가 되지 않지만, 크롤러 접근이 급증하면 대시보드 통계가 거의 사용할 수 없을 정도로 왜곡됩니다.
보시다시피, 12월 16일에 발생한 한 번의 급증으로 인해 모든 차트가 극도로 압축되어 읽기 어렵게 됩니다. 게다가 그 정보가 어떤 가치를 갖는지요? 전혀 없습니다. 지난주 구글 장애가 발생한 날이었으니, 아마 구글이 복구된 후 크롤러들이 활동을 급격히 늘린 것 같습니다. 큰일이 아닙니다.
그래서 제 질문은 이렇습니다: 메인 관리자 대시보드 통계에서 크롤러를 제외할 수 있을까요?
아, 정말 감사합니다. 이걸 클릭할 수 있다는 건 처음 알았어요.