此功能现已成为 Discourse AI 的一部分。此插件已被弃用。
|
| 摘要 | Disorder 通过自动标记 Discourse 论坛上潜在的有毒内容来帮助版主。 |
|
| 仓库链接 | https://github.com/xfalcox/disorder |
|
| 安装指南 | 如何在 Discourse 中安装插件 |
如果您正在使用我们的官方托管服务,请联系我们的支持部门以注册您对该插件的兴趣。
毒性
正如 @hawk 在 Dealing with Toxicity in Online Communities 中所说,管理社区中的毒性至关重要。
虽然 Discourse 开箱即用地提供了许多不同的工具来帮助管理社区中的毒性,但我们一直在研究进一步改进的方法。特别是,我一直在研究机器学习和人工智能在在线论坛中的潜在应用。现在,这是一个实验性插件,所有社区都可以使用。
插件
Disorder 利用人工智能和机器学习来帮助您管理社区,让您的版主团队更容易掌握潜在的问题内容,甚至可以选择在用户发布有毒帖子之前对其进行提示,让他们进行修改。
这是将自托管 ML 模型用于 Discourse 的首次尝试,虽然它是一个简单的模型,但它为将来应用更复杂的模型奠定了可重用的模式。
功能
后台标记
这是 Disorder 的主要运行模式,对您的用户完全透明,他们不会意识到任何更改。
每当创建新帖子(或使用 Discourse Chat 的聊天消息)时,它都会被异步放入分类队列。如果分类结果超过可配置的阈值,该帖子/聊天消息将被标记,以便您的版主团队收到警告,并可以做出最终标记决定。
新帖子干预
如果您认为预防是最好的良药,您可能会对这种更积极的选项感兴趣。
您可以启用对任何新帖子的同步分类,如果其毒性超过可配置的阈值,将触发对新帖子流程的干预,要求用户审查并修改可能超出社区规则设定的界限的消息。
这只会发生一次,关闭模态框后,用户将可以正常发帖。
工作原理?
该插件集成了 Detoxify 的开源模型,使用远程 API 调用模型,允许管理员根据每个社区的需求正确扩展推理速率。
我们提供了一个简单的镜像,提供了一个精简的 HTTP API,Discourse 将调用该 API 来执行内容分类,该 API 可以在运行 Discourse 的同一台服务器上运行,也可以在另一台服务器上运行。
Discourse 插件侦听新帖子/新聊天消息事件,并在后台队列中排队一个分类作业。结果存储在数据库中,以便您可以提取报告,我们使用单独的机器人用户标记内容,以便我们可以跟踪其标记准确性。
选项
首先,该插件开箱即用,因此无需立即更改任何设置。但是,如果您想更改插件的行为,可以使用一些选项。
我们提供 3 种不同的分类模型供您在插件选项中选择:
-
unbiased(默认):一个试图减少毒性分类中意外模型偏差的模型。
-
multilingual:一个可以对意大利语、法语、俄语、葡萄牙语、西班牙语和土耳其语进行分类的模型。
-
original:最简单的模型。
您还可以调整插件是否会:
- 自动标记
- 启用对有毒帖子的同步干预(带警告)(实验性)
- 启用对有毒帖子的同步干预(不推荐)
以上所有操作仅在评论被分类为高于每种分类类型的阈值时发生:
- toxicity(毒性)
- severe_toxicity(严重毒性)
- identity_attack(身份攻击)
- insult(侮辱)
- threat(威胁)
- sexual_explicit(露骨的性内容)
您可以调整自动操作的每种分类阈值。
分类服务
该插件预先配置为开箱即用。为此,它会联系 Discourse (CDCK) 运行的服务来对用户内容进行分类。该 分类器 API 服务是开源的,如果您需要,可以运行自己的服务副本。



