Поскольку, похоже, Cloudflare внедрил некоторые из этих ограничений для краулеров, публикую информацию о том, что происходит на сайте SWI-Prolog, для справки.
Тот же отчёт, но позже в тот же день.
Список краулеров и количество просмотров страниц в формате CSV для форума SWI-Prolog на 3 июля 2025 года. Примечание: день ещё не закончился, поэтому может быть просмотрено больше страниц, что увеличит показатели. Это показывает, какие краулеры активны и сколько они загружают.
web-crawlers-250703-213320.csv (4.4 КБ)