大家是怎么应对那些用AI自动回帖来刷信任等级的用户的?

这个问题面向所有论坛版主/管理员。对于那些利用 AI 自动浏览论坛、自动阅读最近几条评论,然后由 AI 自动生成回复并发布的用户,你们是怎么看的?他们这么做是为了避免真正参与论坛互动,目的是提高信任等级,从而访问论坛中仅限高信任等级用户查看的区域。

你们会主动监管这些用户吗?如何判断某条内容是否由 AI 生成?还是说你们对此睁一只眼闭一只眼?

3 个赞

事情甚至可能变得更加不诚实。我曾看到过这样的帖子:一个马甲账号用AI发布了一个新话题,没过多久,一个新用户(据推测由同一人控制)便发帖回复,附和并称赞原帖作者。

4 个赞

我还没见过这种行为,但如果是我的话,我会直接封号。如果他们之前是正常贡献的成员,我可能会给个警告,但听起来他们似乎从未参与过任何贡献。

我觉得,最好对 LLM 的贡献制定一项明确的政策。

6 个赞

嗯,关于这个问题,我的建议是:你有多重视那些受信任等级限制的内容,以及你有多重视用户访问这些内容的便利性。

如果这些内容是你不希望用户通过“钻空子”来获取的,那么我认为应该想办法阻止这种行为。

原因是这种行为非常普遍。看看 Robert 举的例子:

唉……这里每天都在发生这种事……

总之

很多时候,人类版主只要读一读就能明显看出来,但这会占用版主的时间。有些管理员正在使用 AI 来捕捉 AI(挺讽刺的,对吧?)

参考类似讨论:

4 个赞

如果你能够识别出所使用的用户代理(user-agent),或者它们遵循了相关控制标准,你可以考虑屏蔽它们、对其实施速率限制,或使用 llms.txt。

这些方法只有在自动化程序表现得像“君子”时才有效。

如果特定地区是问题所在,也可以考虑使用地理封锁。

我使用一个 AI 检测代理来筛查新注册或低信任度的账户。事实证明,其准确率高达 95% 以上。

这取决于恶意行为者的水平,但通过一些努力和测试,你可以比他们更聪明 :wink:

4 个赞

我们也经常遇到这种情况。当然,我无法揣测对方的动机,但根据我的经验,这远没有试图“获取信任”那么有意思。我觉得这就是垃圾信息。

如今,垃圾信息还包括用于 AI 训练的语料库以及 GEO(生成式引擎优化)——在这种模式下,他们只需要在互联网各处_提及_某个产品、服务或公司,就能从中获益。

所以,有时候他们的目的是积累足够的信任以便插入链接,但我怀疑现在链接已经是次要目标了。

到目前为止,这些迹象都相当明显——我所谓的“真实看法”是,“承重缝”(load-bearing seams)暴露得非常清楚。我会将该话题暂时搁置,并向用户发送一条友好(但属于模板化)的私信,表示欢迎,并让他们直接回复我即可恢复该话题。

至今为止,还没有人回复过我。

4 个赞

正如其他人所建议的,你可能需要重新考虑受限制内容的价值,以及用户贡献对论坛的相对价值。那些没有权限访问受限制内容的人,是否具备有意义地做出贡献所需的知识或技能?也许可以修改获得新信任等级的要求,使得发布垃圾内容无助于提升等级,并以此明确告知用户,以免他们受到诱惑去这样做。

在引入 AI 之前,新用户能够有意义地做出贡献并达到下一个信任等级吗?

4 个赞

无论你是否觉得意外,我都曾在这里使用 AI 助手来检测帖子是否由 AI 生成(一部分是为了测试,一部分是为了好玩),前提是我已经自己判断过帖子确实是由 AI 生成的。结果发现,它在判断内容是 AI 生成还是人类撰写方面,准确率出奇地高。


如果明显看出用户是在利用 AI 来钻论坛规则的空子,我建议先给予一两次警告,随后可能暂停其账号几天。

1 个赞

我会回归第一性原理——他们创作的内容对更广泛的社区有价值吗?如果有价值,那么它是怎么创作出来的重要吗?如果没有价值,那就去解决那个问题。如果有人在用小号批量制造垃圾内容,无论是AI还是人类所为,后果不都应该一样吗?

6 个赞

我们的社区正处于待命状态,我对此思考了很多,因为在我们生活的这个时代,几乎没有人尊重政策或原则。因此,我实施了一套自定义的信任等级/声望系统,用户需要完成特定的(人类)任务 才能获得访问权限。

我们将从一个较低的标准开始,但如果我看到这里提到的那种行为,我会提高门槛,使其变得枯燥、烦人,或者几乎不可能通过自动化手段和/或使用大语言模型(LLMs)来完成。

我们的社区基于人类互动,我们离开了 Discord,因为他们的中心化系统不符合我们的理念。我也预计未来某天会看到 AI 生成的实时摄像头画面,需要为此提前规划对策。

在我的网络生涯中,我管理过几个论坛,并以惨痛的教训学到:强制性或惩罚性的措施通常会产生反效果。它们必须始终作为最后的手段。

你知道,“不要给 trolls(喷子/捣乱者)喂食” 这一原则适用于任何地方。

3 个赞

说实话,我有点担心 TL 系统是不是开始失效了,因为它是我们纵深防御体系的基础。我在 meta 上并没有看到这种情况发生——你是不是自定义了 AI 垃圾信息检测或 TL 设置?

3 个赞

坦诚地说,让我内心那个90年代电影迷继续写下去,我打算重启一个来自拉美的利基社区,并向全世界开放,因为我认为论坛需要生存下去,而且再过几年,我们——人类——将只占世界人口的0.5%到1%。

Digg 消失了,Stack Overflow 也消失了。Reddit 不再由人类主导。我曾在其中,当我看到真正的怪物正在逼近时,我选择了退出。API 的限制、封禁第三方客户端、无处不在的 Cookie、要求人类“证明你不是机器人”的验证码、每次交互都留下指纹,等等。

重新开放我们的社区会让我们面临垃圾机器人的攻击,但我预计我们的基础设施会遭受更多攻击,因为我们(我)喜欢始终自托管,所以我选择忘记所有关于 SEO 的事情,限制我能限制的一切,将交互保留在“我们”之间,学习如何加密,在去中心化网络中分发,并在 Tor 上使用 Discourse,通过 Dumbcourse 来使用。

这是最后一道防线,虽然今天并不必要,但我的反乌托邦(也许是听者或读者眼中的疯子)的一面总是处于待命状态,你知道的。我们看过那些电影:特工、蜘蛛、全面控制,以及对几乎所有人的幻觉。

回到 Discourse,我不担心垃圾滥用,因为我们正在做一些不寻常的事情,超出了大多数人的追随范围,但我预计会有许多用户试图在交互中利用 AI,让自己听起来比实际更好。这不仅是不可能的,也是任何想要自我提升的人所能做出的最糟糕的决定。

所以,我们将从一个追随领导者的情绪化群体,转变为一个由值得信赖的版主组成的团队,将代理拒之门外。我认为 Discourse 的信任级别系统很棒,但在当今的世界中,它并不受鼓励;人们被训练成即时获得一切,却几乎得不到任何有价值的回报。

我决定采用一种老派的系统,而不是常见的徽章/信任系统,这将消除所有的噪音,我认为我为一个由世界上最佳团队领导的论坛选择了最好的平台。我们将看看一切将走向何方。

我读了你的文章,还有那篇关于有丝分裂或有毒分裂的文章。阅读人们从他们真正生活和拥有的事物中写出的内容,总是美好的。我很惊讶你熟悉“死互联网”理论。现在正是如此。

2 个赞

关于垃圾信息。大约两年前,我们从那个过时且濒临崩溃、各方面都糟糕透顶的平台迁移到了 Discourse。当时垃圾信息多到根本防不胜防。

Discourse 彻底刹住了这股势头,尤其是在启用了 AI 检测功能后,简直是颠覆性的改变。

我记不起有任何垃圾帖子成功混入过。虽然偶尔会有针对新成员的误判,但都不严重,而且与之前相比,这点代价简直微不足道。

我们还成功封锁了几个大量批量注册账号的地区,这使得垃圾信息的数量降到了一个既不成为负担、也不值得担心的水平。

我喜欢 Discourse 的一点在于,它在处理问题时提供了极大的灵活性,产品也在不断进化,而且团队非常乐意提供帮助。这种变化令人耳目一新。

3 个赞

在构建互联网应用方面,我并没有 Meta 整个社区那样丰富的经验,因为我一直活跃在特定、小型或小众的平台上。我从事点对点(P2P)系统的基础工作已有十年之久,而且直到几年前才开始读懂英语,所以基本上与主流互联网的发展脱节了。

在此期间,我的 Ghost CMS 网站遭受了垃圾信息攻击,我不得不禁用注册功能,因为系统无法应对这种情况。当时情况非常疯狂,SMTP 服务器在一个月内消耗的资源和过去两年消耗的差不多。

维护特定的社区允许对账户进行人工审核;我认为这是阻止爬虫/机器人入侵的唯一可靠方法。如今,没有哪个系统是它们无法突破的;它们所掌握的算力正在不断进化,并且每天都在变得更强。

好的工具当然会像往常一样提供帮助,但真正的防御责任在于我们自己。

我认为这很重要。在某些情况下,我们遇到过垃圾广告者利用 AI 生成一些“引人入胜”的问题,我们的社区为此集体花费了大量时间……结果“楼主”(OP)却回来丢下一个垃圾链接,或者事后编辑问题以包含链接。在情况发生逆转之前,他们并不明显是捣乱者。

大家只会因为这种情况被“坑”那么多次。这会摧毁社区的好意与信任。

3 个赞

我猜测你的论坛并不是唯一的攻击目标。考虑到这一点,实施这些行为的实体显然不想花时间去撰写原始主题。因此,使用AI生成的帖子可以在整体方案中节省时间。因此,警惕并阻止AI撰写的帖子,似乎是一种减少垃圾信息攻击的有效方法。