# 供参考 - Cloudflare 博客 - 按次抓取

**URL:** <https://meta.discourse.org/t/fyi-the-cloudflare-blog-pay-per-crawl/372462>\
**Category:** General\
**Created:** [2025年七月1日 16:39 UTC](https://meta.discourse.org/t/fyi-the-cloudflare-blog-pay-per-crawl/372462 "2025-07-01T16:39:45Z")\
**Posts on this page:** 3\
**Page:** 1

<div class="post-metadata">

**Author:** ![EricGT](https://avatars.discourse-cdn.com/v4/letter/e/f1d935/32.png) [@EricGT](https://meta.discourse.org/u/EricGT)\
**Post date:** [2025年七月1日 16:39 UTC](https://meta.discourse.org/t/fyi-the-cloudflare-blog-pay-per-crawl/372462/1 "2025-07-01T16:39:45Z")

</div>

> **[Introducing pay per crawl: Enabling content owners to charge AI crawlers for...](https://blog.cloudflare.com/introducing-pay-per-crawl/)**
>
> Pay per crawl is a new feature to allow content creators to charge AI crawlers for access to their content.

---

<div class="post-metadata">

**Author:** ![Jagster](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/jagster/32/192154_2.png) [@Jagster](https://meta.discourse.org/u/Jagster)\
**Post date:** [2025年七月1日 17:33 UTC](https://meta.discourse.org/t/fyi-the-cloudflare-blog-pay-per-crawl/372462/2 "2025-07-01T17:33:23Z")

</div>

那才公平。

---

<div class="post-metadata">

**Author:** ![EricGT](https://avatars.discourse-cdn.com/v4/letter/e/f1d935/32.png) [@EricGT](https://meta.discourse.org/u/EricGT)\
**Post date:** [2025年七月3日 07:21 UTC](https://meta.discourse.org/t/fyi-the-cloudflare-blog-pay-per-crawl/372462/3 "2025-07-03T07:21:03Z")

</div>

鉴于 Clouldflare 似乎已实施了部分 [爬虫限制](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/)，现将 [SWI-Prolog 网站](https://swi-prolog.discourse.group/)上的情况发布供参考。

 ![此条形图显示了 2025 年 6 月 20 日至 7 月 3 日的传统合并页面浏览量，细分为登录用户、匿名用户和爬虫。 (AI 标注)](https://global.discourse-cdn.com/meta/original/4X/2/f/f/2fff195e7244fd90cd42ba138cc686d40dbb6723.png)

同一天晚些时候的同一份报告。

 ![条形图显示了 2025 年 6 月 24 日至 2025 年 7 月 2 日的传统合并页面浏览量，区分了登录用户、匿名用户和爬虫。 (AI 标注)](https://global.discourse-cdn.com/meta/original/4X/e/2/c/e2c7b3a05bb43bab4258b9550fcdb6e199b511a3.png)

2025 年 7 月 3 日 SWI-Prolog 论坛的爬虫列表和页面浏览量（CSV 格式） 注意：当天尚未结束，可能会有更多页面被浏览，从而增加计数。这确实显示了哪些爬虫是活跃的以及它们下载了多少内容。

[web-crawlers-250703-213320.csv](https://meta.discourse.org/uploads/short-url/prdoGhKbCq73u29c4lOIS58Vy04.csv) (4.4 KB)
