제안
AI가 사이트를 정기적으로 크롤링하지만 방문을 유도하지 않는 웹 크롤러를 식별하도록 하세요. 해당 크롤러를 관리자가 검토하도록 표시(flag)합니다.
또한 통합 페이지 뷰(Consolidated Page View) 보고서를 수정하여 크롤러를 더 세분화된 항목으로 분류하도록 합니다.
- 방문을 유도하는 크롤러
- 단발성 크롤러
- 기타
매일 또는 반복적으로 사이트를 방문하는 웹 크롤러가 매우 많습니다. SWI-Prolog와 같은 사이트의 경우 이러한 크롤러로 인해 페이지 뷰 수가 크게 증가하지만 사이트에는 실질적인 이점이 없습니다. 대부분이 검색 엔진 사이트이지만, 해당 검색 엔진이 방문을 유도하지 않는다면 사이트 크롤링을 허용하지 않는 것이 좋습니다.
잘못된 행동을 하는 웹 크롤러를 완벽하게 차단하는 이상적인 방법은 없다는 점을 알고 있습니다. 그러나 이러한 웹 크롤러로 인한 불필요한 페이지 뷰 수를 줄이는 것은 장기적으로 실질적인 비용과 시간 절감으로 이어집니다.