鉴于 Clouldflare 似乎已实施了部分 爬虫限制，现将 SWI-Prolog 网站上的情况发布供参考。
同一天晚些时候的同一份报告。
2025 年 7 月 3 日 SWI-Prolog 论坛的爬虫列表和页面浏览量（CSV 格式） 注意：当天尚未结束，可能会有更多页面被浏览，从而增加计数。这确实显示了哪些爬虫是活跃的以及它们下载了多少内容。
web-crawlers-250703-213320.csv (4.4 KB)
1 个赞