处理垃圾用户和GPT回复帖子的最佳实践

背景: 我们几年前成立了一个社区,就在疫情开始蔓延的时候,然后不得不将所有资源投入到其他项目几年。我们曾有很多参与者,但当我们停止社区项目和管理后,论坛就陷入了停滞。我们即将投入更多时间来实施我们的社区战略和管理,所以这个问题最紧迫!


目前我们注意到,现在加入社区的很多用户要么是:

  1. 加入是为了发布他们垃圾联盟营销关键词网站的链接
  2. 加入并发布看起来像是 LLM / GPT 生成的回复/帖子

这是昨天我们审核队列中的一个帖子示例:

注意:该用户当天才创建了他们的账户。

点击查看审核帖子的截图

我们的 Discourse 系统消息已发送给用户:

点击查看罐头系统消息的截图

这个来自新用户的帖子是对 Chris Anderson 三年前的帖子 的回复。

当你阅读新用户被审核的帖子时,很明显这条消息是虚伪的,并且是 GPT 或类似工具生成的回复。

是否有最佳方法来阻止这类用户出现在社区中?

是否有办法阻止用户输入 LLM 罐头回复,无论他们出于何种自私或恶意的目的?

任何输入都会很有帮助!

4 个赞

这种情况多久发生一次?我想知道你们的网站是否因为某些原因而被特别针对。

我大胆猜测这与以下一个或两个网站有关:http://bestpickleballpaddle.com/https://thepickleballpaddles.com/。(请注意,这些是真实网站,但我们在此处不要给它们太多流量。)

我能想到的最明显的动机是,生成你截图中的帖子是为了在网站上获得一些信任,以便将来发布垃圾链接。如果这是问题所在,也许值得将你网站的 min trust to post links(发布链接的最低信任度)设置值从默认的信任级别 0 更改为信任级别 1 或 2。如果你乐意允许任何信任级别的用户发布到某些域名,你可以将这些域名添加到 allowed link domains(允许的链接域名)网站设置中。

我只是在随便说说,但我想知道,与其花费大量精力试图捕捉 LLM 生成的内容,不如尝试从根本上减少创建这类帖子的动机。我担心的是,随着时间的推移,LLM 生成的内容将越来越难以检测。错误地将内容识别为 LLM 生成的内容可能会成为一个问题。

在某些情况下,另一种可能有用方法是使用组织成员身份或在另一个平台上进行的活动作为创建 Discourse 帐户的标准,或作为在 Discourse 网站上获得发布链接信任级别的标准。例如,你的注册表单有一个可选字段,询问用户的 USAPA 评分级别。如果加入 USAPA 可以让会员在他们的网站上拥有个人资料页面,你可以通过在注册表单上将“USAPA 个人资料链接”设为必填字段,来要求加入 USAPA 作为注册你网站的要求。然后,你可以启用 Discourse 的 must approve users(必须批准用户)网站设置,并在确认用户的 USAPA 会员资格后才批准他们。另一种可能性是,Discourse 可以添加一个功能,允许根据自定义标准限制用户的信任级别。例如,在确认用户的 USAPA 会员资格之前,不要允许用户超过信任级别 1。

我只是在这里以 USAPA 会员资格为例。我明白你可能不想要求你网站的用户必须是 USAPA 会员。通过在另一个网站上建立会员身份或活动来建立信任的想法与这里讨论的插件有关:https://meta.discourse.org/t/10k-bounty-gitcoin-passport-plug-in-for-discourse/269861。

6 个赞

正是如此。

即使目前还不明显,但几乎肯定存在某种议程。

我最近遇到一个用户,他非常有说服力,一路达到了信任级别 2,然后才开始露骨地推广他的产品,最初只是含沙射影。

信任级别链接设置很有用,而可疑账户会开始建议人们通过谷歌搜索 xyz 来代替发布链接:这是另一个危险信号。

有时你只能等到证据足够充分时,才能确定要封禁一个账户。

不幸的是,推迟行动意味着以后清理工作会更繁重。

4 个赞

有一个“输入速度可疑地快”的复制粘贴检查?除非整个过程是一个旨在缓慢打字以模仿人类的机器人……

所以(如果我理解正确的话)这里的好处是这个人被现有的基础设施抓住了。这会给工作人员带来麻烦,但不会给用户带来麻烦。

我认为西蒙在这里说对了:

我很想知道这种情况发生的频率。这个人在一个相关的论坛上设置了一个相关的头像和用户名……这让我认为这在一定程度上是人为因素。
会不会只是一个过于热心的营销实习生?

1 个赞

我遇到了类似的问题。肇事者目前已被暂停。有一些网站可以帮助识别人工智能生成的文本,这很有帮助,但这并非长久之计。——人工智能会不断进步,直到无法分辨。

然而,兰德尔·门罗(Randall Munroe)认为这可能是一个自行解决的问题

3 个赞

供您参考

我是 OpenAI Discourse 论坛(ref)的类别版主(不是 OpenAI 员工),因此可以看到论坛上关于 ChatGPT 随时间变化的反馈(ref),虽然总的来说您的陈述是正确的,但关于 ChatGPT 我想补充一些说明。

从 ChatGPT 推出以来,以及在随后的许多个月里,它的能力一直在提高,生成的回复

  • 更连贯
  • 与提示一致
  • 变得更简洁、更短

然后进行了一次更改,导致生成的回复

  • 不太连贯
  • 与提示不太一致
  • 不太简洁且更长

论坛上的许多用户注意到,这就像几个月前 ChatGPT 被回滚到了一个早期版本。那些使用 ChatGPT 创建代码的人(我也是这样使用 ChatGPT 的)对此感受更深,因为随着更改的出现,出现了更多的语法错误。

因此,需要记住的是,如果您试图识别 ChatGPT 生成的内容,这是一个不断变化的靶子,而且它并非总是在进步。作为一名程序员,如果我想识别 ChatGPT 生成的内容,这将是有价值的。

另外,作为网站版主,我没有任何内部消息,因为我不是 OpenAI 员工,所以如果您听说有任何工具可以嵌入信息来识别此类 ChatGPT 内容,我无法提供相关信息。



对于那些不使用 ChatGPT 的人,这里有一个使用上述文本的简单示例。

示例(点击三角形展开)

ChatGPT 7 月 20 日版本
提示

校对,使用友好的语气,保持简洁。

供您参考

我是 OpenAI Discourse 论坛(ref)的类别版主,因此可以看到论坛上关于 ChatGPT 随时间变化的反馈(ref),虽然总的来说您的陈述是正确的,但我想补充一些说明。

从 ChatGPT 推出以来,以及在随后的许多个月里,它的能力一直在提高,生成的回复

  • 更连贯
  • 与提示一致
  • 变得更简洁、更短

然后进行了一次更改,导致生成的回复

  • 不太连贯
  • 与提示不太一致
  • 不太简洁且更长

论坛上的许多用户注意到,这就像几个月前 ChatGPT 被回滚到了一个早期版本。那些使用 ChatGPT 创建代码的人(我也是这样使用 ChatGPT 的)对此感受更深,因为随着更改的出现,出现了更多的语法错误。

因此,需要记住的是,如果您试图识别 ChatGPT 生成的内容,这是一个不断变化的靶子,而且它并非总是在进步。作为一名程序员,如果我想识别 ChatGPT 生成的内容,这将是有价值的。

另外,作为网站版主,我没有任何内部消息,因为我不是 OpenAI 员工,所以如果您听说有任何工具可以嵌入信息来识别此类 ChatGPT 内容,我无法提供相关信息。


**回复**

供您参考,

我想澄清一些关于 ChatGPT 随时间变化的重要观点。作为 OpenAI Discourse 论坛的类别版主,我一直在密切关注社区关于 ChatGPT 发展([ref](https://community.openai.com/about))的反馈。

最初,在发布后,ChatGPT 的能力在几个月内持续提高。生成的回复变得更加连贯,与给定的提示更加一致,并且更加简洁精炼。

然而,随后的更新导致了一些挫折。用户注意到,生成的回复变得不那么连贯,与提示的匹配度降低,并且长度增加。这导致人们将其与早期版本的 ChatGPT 进行比较,似乎是倒退了一步。特别是那些使用 ChatGPT 进行代码生成的人,受到的影响更为明显,因为他们注意到更改后语法错误有所增加。

重要的是要理解,识别 ChatGPT 生成的内容已经成为一个不断变化的靶子。虽然它之前在稳步改进,但现在并非总是如此。作为一名程序员,我发现这些信息很有价值,尤其是在试图区分人类生成内容和人工智能生成内容时。

我必须澄清的是,尽管我是该网站的版主,但我不是 OpenAI 员工,也不拥有任何内部信息。因此,如果存在任何用于识别 ChatGPT 内容的工具或方法,我无法提供相关信息。

感谢您的关注,希望这次澄清有助于您理解 ChatGPT 当前的发展状况。

此致,

[您的名字]

2 个赞

供参考

刚看到这个OpenAI悄悄关闭了其AI检测工具,并在此处确认了。

截至2023年7月20日,由于准确率低,AI分类器已不再可用。我们正在努力整合反馈,并正在研究更有效的文本溯源技术,同时承诺开发和部署能够让用户了解音频或视觉内容是否由AI生成的机制。

3 个赞

@EricGT 观点很棒!是的,这绝对是一个不断变化的目标。我并不特别担心 ChatGPT。可以说,猫已经出笼了,我认为这只是时间问题,直到有人不择手段地以故意有害的方式使用这项技术。:cry:

2 个赞

是的,这(包括不带网址的虚假宣传)以及他们可以在个人资料中添加的网址和广告——无论是为了直接回复还是搜索引擎优化。在其他情况下,是为了农场账户进行私信垃圾信息。据我所知,这些是主要情况。