잘못된 행동을 하는 봇만 차단하고, 나머지는 모두 차단 해제해 두는 것이 좋습니다.
앞서 언급했듯이, 다음 경로를 방문하면
your.site.com/admin/reports/web_crawlers
사이트의 모든 크롤러 목록과 크롤러별 페이지뷰 수를 확인할 수 있습니다. 해당 페이지의 스크린샷을 찍어서 여기에 올려 주시겠어요?
잘못된 행동을 하는 봇만 차단하고, 나머지는 모두 차단 해제해 두는 것이 좋습니다.
앞서 언급했듯이, 다음 경로를 방문하면
your.site.com/admin/reports/web_crawlers
사이트의 모든 크롤러 목록과 크롤러별 페이지뷰 수를 확인할 수 있습니다. 해당 페이지의 스크린샷을 찍어서 여기에 올려 주시겠어요?