크롤러가 너무 많으면 문제가 되나요?

[Johani (Joe)]

다음 경로를 방문하면 크롤러별 상세 수치를 확인할 수 있습니다.

your.site.com/admin/reports/web_crawlers

잘못 동작하는 비정상적인 크롤러를 발견했다면, 해당 크롤러의 사용자 에이전트에서 고유 문자열을 추출하여 blacklisted_crawler_user_agents 설정에 추가하면 차단됩니다.