# 网络爬虫用户代理 - Mastodon 代理数量不断增长 **URL:** \ **Category:** Community Building\ **Created:** [2025年十月23日 09:04 UTC](https://meta.discourse.org/t/web-crawler-user-agents-mastodon-agents-growing-in-number/386506 "2025-10-23T09:04:45Z")\ **Posts on this page:** 2\ **Page:** 1
**Author:** ![EricGT](https://avatars.discourse-cdn.com/v4/letter/e/f1d935/32.png) [@EricGT](https://meta.discourse.org/u/EricGT)\ **Post date:** [2025年十月23日 09:04 UTC](https://meta.discourse.org/t/web-crawler-user-agents-mastodon-agents-growing-in-number/386506/1 "2025-10-23T09:04:45Z")
对于拥有管理员权限的用户，可以检查网络爬虫用户代理 ![image](https://global.discourse-cdn.com/meta/original/4X/8/0/5/8055d9c62dc8870fc4489cdc30a610f66ae6fcb1.png) 例如，实际链接，根据需要更改您网站的 URL。 [https://swi-prolog.discourse.group/admin/reports/web\_crawlers](https://swi-prolog.discourse.group/admin/reports/web_crawlers) 我们的网站显示 Mastodon 代理突然增加。我怀疑这些代理来自 [Mastodon](https://en.wikipedia.org/wiki/Mastodon_(social_network)) 网站。由于我现在不使用 Mastodon，因此必须调查这是否是我们将面临的潜在问题，还是仅仅需要注意的事情。 由于网页上显示的报告截断了一些需要的信息，因此下载了该报告。 [web-crawlers-251023-084425-10.zip](https://meta.discourse.org/uploads/short-url/uLGnitRW5l4NTy2cs4VmPtUhovu.zip) (4.3 KB) 在末尾注意到类似以下内容的行： `http.rb/5.1.1 (Mastodon/4.2.20; +https://acc4e.com/),1` 有人能就以下几点提供更多信息吗？ - 这些代理与 Mastodon 社交网络站点有关吗？ - 由于 Mastodon 的工作方式，未来是否会出现更多此类代理？换句话说，它们是作为 Mastodon 设置或使用方式的副作用而产生的，而不是故意的？ - 如果它们对 Discourse 站点没有价值，是否应该/可以拒绝它们作为爬虫？ 目前这不是一个紧迫的问题，因为所有 Mastodon 代理的页面浏览量都只有 1，而 Mozilla/5.0 代理列表顶部的页面浏览量为 37,279。 ---
**Author:** ![pmusaraj](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/pmusaraj/32/119489_2.png) [@pmusaraj](https://meta.discourse.org/u/pmusaraj)\ **Post date:** [2025年十月23日 18:22 UTC](https://meta.discourse.org/t/web-crawler-user-agents-mastodon-agents-growing-in-number/386506/2 "2025-10-23T18:22:44Z")
> [@EricGT](#): > > 经过进一步研究并与其他网站管理员交流后，我们欢迎这些代理，因为它们用于生成链接预览。 太棒了，这可能意味着您社区中的某些内容被 Mastodon 用户重新发布了。由于 Mastodon 是联邦制的，链接预览爬虫将具有不同的用户代理。这既是因为实例将使用不同的 Mastodon 版本，也是因为看起来 Mastodon 将社区的 URL 作为用户代理的一部分。 > [@EricGT](#): > > 很高兴能看到一个只显示抓取代理的新报告 同意。还可以将用户代理分组，这样您就可以看到 Mastodon 链接预览总数、Facebook onebox 总数、Discourse onebox 总数（来自其他社区）等。