禁止AI内容的论坛……进展如何?

我很想听听那些不允许 AI/LLM 生成内容的论坛工作人员的经验。你们是如何向用户传达这一规定的?你们又是如何检测这些内容的?对于那些仍然发布此类内容的用户,你们是如何处理的?

欢迎分享任何想法。

注:就我个人而言,我只关注网站前端交互中的人性化方面。我假设阻止爬虫是徒劳的。

我们的论坛是一个精神/宗教讨论论坛。我们禁止任何 AI 生成的内容。

8 个赞

大多数,如果不是全部的话,AI 生成的文本只要读一遍就能轻松识别。Google 的 SynthID 是一项很酷的技术,用于检测 AI 图像,它声称甚至能检测出可能仅由 Gemini 生成的文本,但 OpenAI 也支持这一标准。能够亲自识别这些文本可能是一项需要培养的技能,但我非常感谢目前为应对我们无法检测 AI 图像或文本这一危机所做出的努力。

在我看来,屏蔽/封禁仍然是处理这种情况的正确方式,尤其是对于新账户。如果一个随机新账户加入你的网站并立即发布一个由 AI 生成的主题,我认为你完全应该直接封禁该账户并将其拉黑。

至于整个爬取困境:我的网站目前主要用于一家小公司的内部通信和文档记录,我计划最终将其作为博客后端使用。设置一个蜜罐来阻止那些选择忽略我域名上的 robots.txt 文件的爬虫并不难。

仅这一项策略,在两周内就导致了大约 600 万次请求(平均每秒约 6 次请求指向该域名):

每当 AI 爬虫访问该网站时,它们会被引导进入一个由令人愉快的 iocaine 项目构建的无限垃圾迷宫中。该项目是我自托管的,使用了一个包含约 7000 个虚构词汇、一些乱码 HTML、随机词汇以及由 8B Llama 生成的假新闻的数据集。

显然,这是一种核弹级的“滚开”策略,并不适合所有人,但在我阻止 LLM 窃取我的代码或文本内容这一目标上,它对我非常有效。我记得读过 Anthropic 做的一项关于 LLM 投毒的案例研究,但我再也找不到那篇文章了,所以这里不会附上,但毫无疑问,当他们意识到 bot 向我的域名发送了大约 500 万次请求时,他们最终会屏蔽我的域名。

5 个赞

(我注意到我们暂时搁置了关于爬虫负载、爬虫抓取内容用于训练,以及当前快速发展所带来的社会和经济后果的问题。这很好。)

就我个人而言,在一个低流量的爱好论坛上:

  • 我们正努力协商并制定书面政策
  • 我们见招拆招,遇到问题再处理
  • 最恶劣的例子本质上就是垃圾信息,因此我们会删除并封禁
  • 其他情况下,我们会进行劝诫,可能在公开场合,也可能在私下,并可能删除相关帖子

建议的指导方针可能如下:

  • “拥有”你发布消息的内容(即阅读并理解,而不是盲目地复制粘贴内容,无论其来源如何)。
  • 在开启新话题之前,先尽己所能尝试自行回答问题(例如通过搜索论坛)。
  • 以简洁的方式沟通具体细节,以便其他用户能够阅读并理解,从而提供帮助,即避免冗长重复或无关的文本堆砌,或信息不足的过于宽泛的陈述。
  • 保持讨论紧扣主题,避免元讨论(特别是关于 AI 的使用——无论是“最佳实践”还是“伦理问题”)。
  • 保持对话尊重,记住我们的用户拥有不同的背景、观点和意见。
  • 享受乐趣!这原本就是个爱好。

(在我们的爱好环境中,还有一个额外的角度,即在爱好中使用大语言模型(LLM),这涵盖了多种可能性,既有支持者,也有反对者。)

3 个赞

本示例不涉及 Discourse,但政策与治理问题显然会有重叠。

目前,维基百科的英文和德文版本都实施了可被描述为极端“AI 纯净”政策的规定。作为一名拥有 16 年经验的编辑,我曾被错误指控在主要由我撰写的文章中添加了 AI 生成的内容。而寻求补救的过程令人身心俱疲。这包括向维基百科英文版的仲裁委员会(ArbCom)和维基媒体基金会信任与安全团队(WMF TST)提交正式投诉——前者被草率驳回,后者至今未给出任何理由即予拒绝。

我不想在此详述我的经历,部分原因是这些事件仍在进行中。不过,我鼓励各位读者查阅这段非同寻常的对话,内容涉及维基百科英文版关于 费尔恩洞穴 的文章,该遗址对加利福尼亚州的 莫多克人 具有重要的文化意义:

涉事作者不得不四次否认使用 AI。在此过程中,其原住民知识也被贬低。执行编辑的结论看似表达关切,但同样可被解读为一种隐晦的威胁:若对方不妥协,将予以制裁。

此类心理战术常被执行编辑频繁使用,我手中也有其他类似案例的证据。

若查看该对话中的源标记,你会发现一个 font-size: 0pt 的诱饵陷阱,旨在检测被指控作者在撰写回复时是否使用了 AI。该陷阱并未被触发。

已有可信报道指出,数名编辑因被“不公正地攻击”涉嫌使用 AI 工具而离开了维基百科德文版。

针对本主题最初提出的问题,我认为维基百科英文版和德文版在应对 AI 内容方面,在多个层面严重治理失当。我在近期提交给 WMF TST 团队的 17 页报告中记录了三个案例研究。我或许会在适当时机将该 PDF 公开。

2 个赞

我强烈反对这一观点,基于我在维基百科英文版的亲身经历(相关细节已在其他讨论中详述)。我认为这种观点主要是伪科学与傲慢的混合体。更严重的是,此类检测无法被证伪——事实上,维基百科上那些往往协同行动的强制执行编辑,在面对质疑时只会更加固执己见。

被指控的编辑被迫承担举证责任,且面临的指控根本无法被证伪——即便存在最有力的反证。自然正义荡然无存。这绝非通常行之有效的社区治理方式。

我深知这一点。我曾亲身经历过这一过程,其过程令人作呕。一定还有更好的办法。

3 个赞

推荐阅读,尤其是第二篇文章,我第一次读的时候深受启发。我认为这对 @robbie.morrison 来说也是如此。有些人就是“那样写”的。

我由此得出这样一个论点:我不像 ChatGPT 那样写作。ChatGPT 以一种奇特、无形且全球汇聚的方式,写得像我。或者更准确地说,它写得像数百万像我一样的人,我们被推入了一条非常特定的教育和社会管道,这条管道被刻意设计用来磨平歧义,并将我们的思想锻造成一种非常具体、非常正式且非常令人印象深刻的形态。

7 个赞

是的,对非英语母语者的偏见是我最大的担忧之一。

虽然这不是 Discourse 社区的内容,但这篇帖子很有意思:第 XXI.V 期规则圆桌会:剽窃、诚信与生成式 AI。它来自 AskHistorians 子版块。对于那些不熟悉的人,这大概是 Reddit 上管理最严格的社区之一。他们基本上只允许对问题进行学术级别的回答。

1 个赞

AskHistorians subreddit 仍然带有“先开枪后说话”的偏见,并实行针对被指控者的举证责任倒置(但显然比维基百科/维基媒体更注重正当程序):

如果你未声明你使用 AI 生成回答,且我们怀疑你可能以违反规则的方式使用 AI,你将被封禁。然而,所有因使用 AI 而被封禁的用户都会被告知如何提交申诉。这种做法感觉有些严苛,但我们部分理由是希望引导用户通过 modmail 进行沟通,从而避免可能引发围攻的公开指责。

这或许是目前唯一可行的策略?但显然不符合自然正义。

3 个赞

是啊,我想那个子版块跟“社区”完全没关系。他们对待内容的审核非常严苛,不管是不是 AI 生成的。不过,指责某人使用 AI 这件事本身就充满了风险。

1 个赞

我一直用着那个长破折号,现在却不敢用了,因为大家会以为这是 AI 生成的。再见了,长破折号。

2 个赞

没错,任何利用 Markdown 编写出优质帖子的用户都可能引起怀疑。

2 个赞

同感!在AI出现并抢走它的风头之前,我已经滥用破折号好多年了 :lolsob:

3 个赞

我犯的错误太多了,以至于不会被误认为是AI :face_with_peeking_eye:

奇怪的是,我注意到我现在比之前更倾向于主动不纠正我在自己帖子中发现的小错误(即使是在我的母语法语中)。我觉得保留这些不完美之处,能让我的文字显得更加真实,更有个人特色。别人甚至可能因为我的这些错误或奇怪的句式而认出这是我写的。而且,不试图把我写的每一句话都变得完美(尽管完美究竟意味着什么也不确定)也少了一些精神负担。