웹 크롤러

[JammyDodger]

여기 참고할 수 있는 가이드도 있습니다:

웹사이트의 웹 크롤러 제어하기

이 가이드는 Discourse 사이트에서 웹 크롤러를 관리하는 방법을 설명합니다. 필요한 사용자 권한: 관리자 웹 크롤러는 페이지뷰와 서버 부하를 증가시켜 사이트 성능에 상당한 영향을 미칠 수 있습니다. 사이트에서 페이지뷰가 갑자기 급증하는 경우, 웹 크롤러가 그 원인에 어떻게 기여하고 있는지 확인하는 것이 중요합니다. 크롤러 활동 확인 크롤러가 사이트에 영향을 미치고 있는지 확인하려면 관리자 대시보드에서 Site Traffic(사이트 트래픽) 보고서(/admin/reports/site_traffic)로 이동하세요. 이 보고서는 로그인한 브라우저 사용자, 익명 브라우저 사용자, 크롤러 및 기타 소스의 페이지뷰 수를 세분화하여 보여줍니다. 크롤러가 정상적으로 작동하는 사이트: [image] 크롤러가 통제 불능 상태인 사이트: [image] 특정 크롤러 식별 Web Crawler User Agent(웹 …