蜘蛛占我们流量的大部分!

我是 Discourse 社区提供的免费实例的管理员。

我认为,不滥用免费服务的资源是作为一名好人的部分表现。

可悲的是,爬虫占用了我们大部分的浏览量,而且似乎还在不断增加。(其他人也遇到过这种情况吗?)

有人能提出一些建议来帮助缓解这个问题吗?

此致
Stephen

您可以封禁大部分机器人。这有帮助。但 Discourse 不关心 WordPress 是否会崩溃。

如何抓到人类……嗯,当你弄清楚的时候告诉我们。

1 个赞

感谢您的赞赏;随着抓取活动的增加,这已成为我们许多客户的担忧。

您可以查看您的机器人报告并阻止最恶劣的网络爬虫访问您的网站,这会是一个好的开始。

我们正在着手开发更好的管理工具,但目前除非出现严重问题,否则请不必担心。:heart:

5 个赞

唯一的问题是用户界面。添加那些 Discourse 的方式有点痛苦,因为有很多无用的 SEO 机器人和其他内容窃取者。如果我们有办法发送列表或类似的东西 :smirking_face:

1 个赞

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.