5개의 좋아요
그렇게 하는 것이 오히려 공평할 것입니다.
Cloudflare가 이러한 크롤러 제한 중 일부를 구현한 것으로 보이므로, 참고를 위해 SWI-Prolog 사이트에서 발생하는 사항을 게시합니다.
같은 날, 조금 후에 생성된 동일한 보고서입니다.
2025년 7월 3일 SWI-Prolog 포럼의 크롤러 목록 및 페이지뷰 수 CSV 파일. 참고: 해당 날짜가 아직 끝나지 않았으므로 더 많은 페이지가 조회되어 수가 증가할 수 있습니다. 이 데이터는 어떤 크롤러가 활동 중이며 얼마나 많은 데이터를 다운로드하는지 보여줍니다.
web-crawlers-250703-213320.csv (4.4 KB)
1개의 좋아요