当 Discourse AI 垃圾邮件检测拒绝标记时,帖子和账户并不总是会恢复

,

优先级/严重性:

平台

操作系统

Windows 11

浏览器

Google Chrome 131.0.6778.265

Discourse

c1a46995a7b87982557eeba297d4460169c77bba

Discourse AI

61758ff8a6ea98e4502d0bdc9a8abe635aa35666

描述:

当帖子被 Discourse AI 插件的 垃圾邮件检测功能 检测为垃圾邮件时,将执行以下操作:

  • 隐藏帖子
  • 禁言帖子作者的账户
  • 标记帖子

然后论坛管理员会审查标记。如果垃圾邮件检测是误报,管理员会在标记审查界面点击“不,恢复帖子”按钮。

:bug: 当标记审查员点击“不,恢复帖子”按钮时,帖子和账户并非总是被恢复。帖子仍然被隐藏,帖子作者的账户仍然被不公平地禁言。

可复现步骤:

我不知道如何可靠地复现该故障,但以下是发生故障时执行的步骤:

  1. 等待一个帖子被 Discourse AI 垃圾邮件检测系统标记。
  2. 点击标记审查界面上的“不,恢复帖子”按钮。
  3. 检查被标记的帖子。
    :bug: 帖子可能仍然被隐藏。
  4. 检查创建被标记帖子的用户的管理员页面。
    :bug: 用户账户可能仍然被禁言。

其他信息

似乎在以下条件下会发生这种情况:

  • 被标记的帖子不是主题的第一个帖子。
  • 被标记帖子的作者创建了该主题。

我注意到,如果我检查那些账户在因错误而被拒绝标记后仍然被禁言的用户的 用户备注,会有两条相同的备注,形式如下:

system 19m

@discourse_ai_spam 将此账户禁言至 3025 年 1 月 13 日。原因:用户被 Discourse AI 自动禁言

两条备注的时间戳之间间隔了几分钟。两条备注都与同一个帖子相关联,而该帖子只被标记了一次。

如果我检查那些帖子被标记但标记被拒绝后账户被正确恢复的用户的用户备注,我只会看到其中一条备注。


如果对调查有帮助,我将在此提及,这发生在论坛:

4 个赞

我在这里进行了修复:

尽管它不像旧机制那样具有魔力,并且对垃圾邮件发送者惩罚力度较小,但我认为额外的安全性和清晰度是值得的。

另外,我注意到 Arduino 上存在误报模式,并将对自定义指令进行一些调整以纠正它(等待部署)。

3 个赞

非常感谢您修复了 bug,并改进了我们的 AI 垃圾邮件检测说明!

一如既往,Discourse 团队的响应速度惊人!

此致,Per

4 个赞

此主题已在 4 天后自动关闭。不再允许回复。

抱歉,我发现即使在我们的论坛更新到包含预期修复的版本后,问题仍然存在。

我发现上周有三个案例,尽管我们点击了“否,恢复帖子”按钮,但被标记的帖子仍然隐藏,用户的帐户仍然被静默:

这发生在:

  • Discourse AI 插件版本 4784e7fe43ff25c44df986a56f70c0c1c017a51a
  • Discourse 版本 d3a7b996992e721dd9caab60095414eaf1fc832f
2 个赞

谢谢 Pert,我本周会看看是什么原因造成的。

在这里调查,有很多有趣的故事。

对于以下情况:

我可以看到该用户被 AI 多次禁言。

我们看到了一系列事件:

  • 系统标记
  • 标记被拒绝
  • 用户编辑
  • 垃圾信息系统再次检测到
  • 没有创建标记,因为它是“重复的”,所以系统没有采取任何行动。

我将与员工体验团队讨论此事,看看如何妥善解决。

我们需要允许 AI 重新标记内容,因为垃圾信息发送者可能非常狡猾,仅仅因为一开始是好的,并不意味着它永远是好的。

佩尔特,

在我看来,这似乎是一个相当复杂的边缘情况,请给我们一些时间进行调试,找到一个健壮的解决方案。

双重标记是一件非常复杂的事情。

谢谢 Sam。

当然。我完全不介意为帖子收到额外的标记。

是的,垃圾邮件系统在编辑后会重新评估帖子,这太棒了!


我们又遇到了一个问题:

如果提供更多问题的示例对您有帮助,请告诉我,我会在此处继续提供(我定期运行 Data Explorer 查询来检查因错误而隐藏的帖子和被静音的用户)。否则,我将不再提供,因为如果不需要,我不想在此处产生“噪音”。

1 个赞

我认为我们做得很好,现在我们有一个很好的复现了,@martin 已经把这个列入了他的待办事项,下周会看一下。

我想到了“粗暴”的修复方法,但更希望弄清楚这里是否有更简洁的解决方法。(例如:如果标志已被处理,则手动将标志与帖子解除关联,这样我们就有空间处理另一个标志)

非常感谢你报告这个问题。

你好,Pert,

我是Martin,我负责处理这个问题。我已经修复了AI试图重新标记已处理的垃圾邮件帖子,失败,然后仍然静默用户并隐藏帖子的错误。我已经将修复部署到你的网站。

AI重新标记垃圾邮件的深层需求仍然存在,但至少你将不再看到用户被静默和帖子被隐藏的令人困惑的行为。

如果你还有其他问题,请告诉我。

3 个赞

谢谢马丁!

1 个赞

此主题已在 11 天后自动关闭。不再允许回复。