추가로 해야 할 일은 없어야 합니다… 해당 크롤러 트래픽은 아마도 크롤러가 community.yoursite.com/login을 방문하는 것에서 비롯된 것입니다. community.example.com/admin/reports/web_crawlers를 확인하면 특정 크롤러가 사이트에 얼마나 자주 접근하는지 볼 수 있습니다.
크롤러 트래픽을 줄이기 위해 할 수 있는 몇 가지 방법이 있습니다…
-
robots.txt(
community.example.com/admin/customize/robots)에서/login을 크롤러에게 차단하도록 설정해 보세요… 일부 크롤러 트래픽이 감소하는 것을 확인할 수 있을 것입니다(다만 robots.txt를 준수하지 않는 크롤러가 있으므로 완전히 사라지지는 않을 것입니다) -
/admin/reports/web_crawlers에서 가장 문제가 되는 크롤러들을 확인하고, 해당 크롤러의 user-agent를blocked crawler user agents사이트 설정에 추가해 보세요