Discourse AI 开始失控

我刚和客服AI进行了一场离奇的对话。它两次给了我错误的建议,然后却完全否认自己刚刚说过那些话。即使我贴出了截图和文字记录,它依然否认,还指责我在骗它。要么是这个AI疯了,要么是我疯了 :slight_smile:

总之,它在多个方面都出现了故障,所以我觉得有必要在这里提一下。

如果你碰巧知道当时使用的是哪个模型,以及相关的设置(例如推理级别),这些信息可能会很有用。不同的模型和推理设置可能会有不同的表现,因此这些细节可能有助于缩小问题范围。


注:

我是 OpenAI Discourse 论坛的常客,所以我对看到涉及 AI 回答自相矛盾、对话上下文丢失或误解,以及模型错误否认自己之前说过的话的报告已经习以为常。

根据我在那里的观察,这类极端情况的报告似乎比以前少见了,尤其是在推理模型一年多前开始广泛可用之前。不过,这仅仅是我的印象,而不是我能量化的数据。

谢谢——我该如何查看当前使用的是哪个模型?这是我第一次担任 Discourse 论坛的管理员,所以还在熟悉各项功能。我不记得自己做过任何与 AI 相关的设置,所以我猜 AI 功能应该是 Discourse 的默认配置。

顺便说一下,这是一个托管论坛。

如果我是一名管理员,正在跟进此类报告,这正是我会试图弄清楚的问题。

我是另一个托管 Discourse 论坛的管理员,所以我会去挖掘一下。



我还让 ChatGPT 检查了我的回复,它补充了以下内容。我现在正打算去验证,但先分享给你,以免让你久等。

根据 Discourse AI 文档,管理员可以在以下位置检查已配置的模型:

Admin → Plugins → Discourse AI → LLMs

Discourse AI 的功能还由**角色(personas)**支持,并且可以将角色配置为使用特定的 LLM。当前的 AI 功能配置可以显示哪个角色和 LLM 正在为特定功能提供支持。

有用的参考链接:

我尚未找到一种有文档记录的方法,让普通用户检查已完成的“帮助 AI”对话,并查看处理该特定交互的确切模型。

如果有人知道这些信息是否对用户、管理员或单个请求的站点日志开放,请在此补充。这对像这样的报告会很有用。


在审查上述 AI 生成的部分时(为了透明度,我未作改动),我会做几处修正。

首先,我会移除 Discourse AI – AI 机器人 链接。对于回答“使用的是哪个模型”这一具体问题,它似乎没有必要。

我也会移除:

我尚未找到一种有文档记录的方法,让普通用户检查已完成的“帮助 AI”对话,并查看处理该特定交互的确切模型。

这一限制在这里并不特别相关,因为你提到你是管理员,因此你可以访问普通用户无法访问的配置信息。

最后,既然我现在知道可以在哪里找到相关的配置详情,我也会移除:

如果有人知道这些信息是否对用户、管理员或单个请求的站点日志开放,请在此补充。这对像这样的报告会很有用。

此时,更有用的途径是检查 Discourse AI 配置,并确定分配给“帮助 AI”功能的是哪些 LLM。

AI 设置的列表非常长,但以下是其中最重要的几项。如果你需要查找特定内容,请告诉我,或者我可以把完整列表发出来。

编辑:我还有一个完全独立的 Claude 账户,Claude 在处理 Discourse 查询方面还算有用,但我预计默认的 Discourse 助手代理会比通用 AI 表现更好。

由于我并非对 Discourse AI 的每一项当前设置都了如指掌,以下是我所能理解的最佳情况。

在我的网站和您的网站上,该设置均显示为:

默认 LLM 模型: CDCK Hosted LLM

据我查找,这是 Discourse 托管的 LLM 服务。更准确地说,当前的 CDCK/MoM 实现是一个**混合模型(Mixture of Models)**路由层,而不是单一的固定模型。它可以根据任务将请求路由到不同的开源权重模型。Discourse 在这里有一个有用的解释:

另一个有用的检查位置是:

/admin/plugins/discourse-ai/ai-llms

这是 Discourse AI 的 LLM 配置页面,管理员可以在这里查看已配置的 LLM 连接以及可用于 Discourse AI 功能的模型。

例如,在我担任管理员的网站上,我看到的是:

这将表明它是否支持您所使用的操作。

这似乎回答了我之前关于模型和设置的问题。

我的标签少很多,所以也许我需要再添加几个。

乍一看,我对那份清单感到有些意外。随后,我猜想您是否正在使用免费版。

在查看您之前发布的 更改为全宽 主题时,我发现:

我正在使用 Pro 版本的 14 天试用版

所以,这满足了我的好奇心。

再举一个例子,让你知道不只是你一个人遇到了这个问题。

我现在已经升级到完整的 Pro 套餐了,所以这应该会成为该套餐的默认设置。

另外,我现在对 Discourse 的宽度感觉更舒服了,也做了相应的调整。回头看那些旧的全宽论坛,感觉确实有点奇怪 :slight_smile:

至此,我也没什么可补充的了,只是不想让你们一直猜测我是否还在跟进此事。

很高兴你发布了这个帖子。我预计将来可能还会有人遇到类似的情况,而这个帖子现在提供了一些有用的文档资料,也为进一步调查指明了更清晰的方向。