값이 너무 높은 것 같습니다. 뭔가 잘못되었나요?
누가 크롤러인지 확인할 수 있습니다:
/admin/reports/web_crawlers
그리고 여기에 추가하세요:
admin/site_settings/category/all_results?filter=crawler user agents
최근 Google이 robots.txt 동작 방식을 변경하면서 크롤링 규칙 관련 변동이 많았기 때문에, 이는 정상적인 현상일 수 있습니다.
네, 정말 감사합니다.
데이터에 표시된 경우를 제외하고, 무단 크롤러가 존재합니다. 사이트 설정에서 이를 차단하세요.
