用户代理：lfc-discourse-public-crawler

贡献 错误
1

下午好，

这与其说是一个漏洞，不如说是一次尝试，以获取更多关于一个似乎是AI爬虫的信息。

在我的Cloudflare分析仪表板中，我看到60%的HTTP请求来自一个用户代理，其名称中包含“Discourse”，特别是：lfc-discourse-public-crawler。完整的用户代理是 lfc-discourse-public-crawler/0.1 (+public Discourse API archival crawl)。我从未见过这个用户代理。

其他信息：

  • 仅访问主题的 .json 版本。
  • 它似乎在新加坡运行。
  • IP指向 speedypage.com。
  • 浏览器：未知/其他。
  • 操作系统：未知/其他。

而且它似乎与Discourse无关。但鉴于这样的名称，也许你也应该了解这一点。

4 个赞
2

嗯，可能是任何原因，但也许是 A basic Discourse archival tool 的一个分支？

1 个赞
3

谢谢 @awesomerobot。这确实可能是这里使用的工具。由于我没有使用此类工具进行任何归档，看来是有人在（或试图）复制我所有的内容。

为了尝试阻止这种行为，我通过 robots.txt 屏蔽了该用户代理。我还屏蔽了所有来自新加坡的请求。七天后将重新评估这一措施。

1 个赞
4

robots.txt 仅仅是一种礼貌性的建议。它本身并不能阻止任何行为。但如果用户代理遵循这些规则，则表明该爬虫并非恶意严重。

我们应当在 Nginx 层面执行此类操作 :man_shrugging:

2 个赞