안녕하세요, 저희 포럼에서 크롤러 수가 너무 많아서 평균 81k~90k에 달하고 있습니다! 이로 인해 문제가 발생할 수 있을까요? 만약 그렇다면, 악성 크롤러의 크롤링을 어떻게 비활성화할 수 있을까요?
다음과 같이 블랙리스트에 추가할 크롤러 사용자 에이전트를 지정했습니다.
- mauibot
- semruhbot
- ahrefsbot
- blexbot
- SEO spider
또한 크롤러 사용자 에이전트의 속도를 늦추도록 설정했습니다.
- bingbot
감사합니다.
다음 경로를 방문하면 크롤러별 상세 수치를 확인할 수 있습니다.
your.site.com/admin/reports/web_crawlers
잘못 동작하는 비정상적인 크롤러를 발견했다면, 해당 크롤러의 사용자 에이전트에서 고유 문자열을 추출하여 blacklisted_crawler_user_agents 설정에 추가하면 차단됩니다.
빠른 답변 감사합니다. 크롤러 중 하나가 1,695,285회 조회를 기록했는데, 이는 정상적인 수치인가요?
또 다른 질문이 있는데, 제 포럼에 해결 버튼을 추가하려면 어떤 플러그인을 설치해야 하나요?
감사합니다.
글쎄요, 그것은 사이트의 크기와 해당 크롤러의 사용자 에이전트(user agent)에 따라 달라집니다. 예를 들어 Googlebot은 차단하면 안 됩니다.
여기를 참고해 보세요.
차단해서는 안 되는 봇은 어떤 것들이 있나요? 그리고 통합 페이지 뷰 대시보드에서 봇 이름을 찾을 수 있는 방법이 있나요?
잘못된 행동을 하는 봇만 차단하고, 나머지는 모두 차단 해제해 두는 것이 좋습니다.
앞서 언급했듯이, 다음 경로를 방문하면
your.site.com/admin/reports/web_crawlers
사이트의 모든 크롤러 목록과 크롤러별 페이지뷰 수를 확인할 수 있습니다. 해당 페이지의 스크린샷을 찍어서 여기에 올려 주시겠어요?
