一个附带的观察结果提出了一个问题：使用 Cloudflare 是否也有助于 Google 索引？
我昨天注意到了一些改进，索引和展示次数呈积极趋势，但这可能只是巧合。
注意到十月底出现大幅激增。这些一定是通过了 CF 阻止人工智能机器人的缓解功能。
CF 现在建议使用 AI Labyrinth：
AI Labyrinth 通过添加包含人工智能生成内容的 nofollow 链接来修改您的网页，以扰乱忽略抓取标准的机器人。添加的 nofollow 链接不会改变您网页的内容，并且仅对机器人可见。
用人工智能对抗人工智能？
人工智能军备竞赛？
1 个赞
这是一场军备竞赛，和垃圾邮件发送者一样，我怀疑它将永远是这样。
除了 Cloudflare（避难所）作为中间人来缓解这种情况的选项外，还有别的选择吗，还是说这是唯一的选择？
看起来要么全盘接受，要么全盘拒绝，而全盘拒绝 = 表现得像 DDoS 的 AI 流量！
1 个赞
这次流量激增真是个大麻烦（PITA），最有效的措施是完全地理封锁除目前大部分流量来源以外的所有地理区域的流量。
有太多自治系统编号（ASN）可能参与了这次流量激增，逐一排查是一个缓慢的过程。
这使得从中长期来看，情况变得非常不可行。
1 个赞
对我来说，最重要的是真实用户的体验——无论是会员还是潜水者。只要我的论坛响应速度可以，并且我不会因为额外的流量而被收费，或者存储空间被日志填满，这种额外的非必要流量就不是我真正关心的问题。
当然，如果我需要增加内存、存储或CPU，或者需要为过多的流量付费，我的成本可能会上升。对我来说，这种情况还没有发生。
2 个赞
是的，用户体验至关重要，这也是本主题的全部意义所在。我们之所以存在，完全是因为“用户”，但有时我怀疑开发者和类似的人是否忘记了这一点。
这些人工智能（AI）东西给服务器带来了巨大的负载，以至于你开始出现 50x 错误。特别是如果你尝试搜索。该平台可以承受大量流量并保持稳定，但它开始变得有点卡顿。
我想知道你正在处理什么样的规格，它是否在 Cloudflare (CF) 或其他 Web 应用防火墙 (WAF) 后面？
我见过这种 AI 激增冲击 4vCPU 8Gb 160+Gb 硬盘的“液滴”（droplets），这些“液滴”可以轻松应对数十个真实独立访客激增带来的独特用户访问，但开始在 AI 吞噬的拉力下真正挣扎。
在入门级的“液滴”上运行 Discourse，比如说 2GB 的“液滴”，平台会非常快地开始屈服和崩溃，如果它没有被 CF 之类的东西保护的话。
在 AI 出现之前，这种情况不会发生，除非你有一个热门话题。我见过这种情况发生，但只是事后，因为性能上没有明显的差异，Discourse 很好地处理了服务。
查看 CF 的平均每日服务数据约为 2GB/天，持续一个月，当这次“蜂群”来临时，它跳到了 14GB，并且没有停止的迹象，直到一些 WAF 规则对这次攻击进行了限制。
不得不增加进入的摩擦力意味着那些真正想进来的人进来了，你必须重视这些人，但或多或少，额外的自然流量等等，那将不会受到影响。
正如我所说，中长期来看，这里的可行性构成了非常严重的问题。
现在它需要时间和金钱，或者两者兼有。我不知道除了目前的姿态之外还有什么其他方法可以解决这个问题，然后就是“核选项”——拔掉插头。我见过网站因为更小的事情而关闭。
开放互联网在设计时没有考虑到这种类型的“游戏”。
当然，如果你发现自己正在遭受 50x 错误，那说明情况很严重。
我以前使用 Cloudflare 作为反向代理，如果遇到问题我还会再用它：我的想法是他们对所有恶意流量都有一个中心视图，可以快速集中响应。我相信他们有专门的服务来阻止行为不端的 AI 爬虫。我不认为本地方法在这种军备竞赛中会很有效。
就像我为处理邮件向 Mailgun 支付少量费用一样，在某种理想情况下我本不需要这样做，我也会接受可能需要向某人支付少量费用来阻止这种不必要的流量。