TypeSafe Jev 及其他 System One 决策模型

我非常高兴地宣布,我们现在已经内置了对决策模型(decision models)的支持。:confetti_ball:

决策模型由 TypeSafe.ai 率先倡导并开发,此后已被众多提供商实现,包括 CloudFlare(clef)、Open AI(decisions api)等。

它们允许你通过快速、准确且低成本地回答关于输入的任意问题,来分类文本和图像。

此前,我们可以依赖语言模型来实现这一功能,但在成本/速度和准确性方面表现并不理想。

我们在 Discourse AI 中添加了直接支持:


新选项卡(目前)仅在启用 Discourse Workflows 时可用(因为它是唯一的消费者)

一旦配置好决策模型,你就可以在工作流中使用新的“分类”模型。


由于它允许你使用自己设计的分类器对文本(和图像)进行分类,因此这种新的智能能力可用于大量工作流。

  • 自动审核 - 当讨论变得激烈时收到通知
  • 当特定话题被讨论时通知特定的团队成员
  • 自动打标签和分类
  • 以及更多功能

请尽情使用,并分享你构思出的有趣工作流。

26 个赞

我觉得这对响应分诊代理非常有用;我已经在进行初步测试,看看效果如何。我了解到这些用于决策的新模型非常精准且快速,很高兴我们能在 Discourse 中使用它们。

我在想,是否有计划,或者从技术上来说是否可行,将它们也整合到通用代理中,从而开发出能够先进行分类再进行委派的“高级助手”。还是说这根本行不通?

也许我还没有完全理解它们的最佳应用场景,可能我问的问题不太合适。

2 个赞

我认为这里有很多应用场景,将它们用作一个网关来找到合适的智能体或子智能体进行回答,这确实是我想要探索的方向。

你认为它会如何运作?

以我们的配置为例,我设想的工作流程如下。我们的主智能体(agent)拥有五个子智能体:

子智能体 触发条件
publicator 成员分享一段文本,希望在发布前进行优化
links 将零散的链接整理成一篇帖子
web 论坛外部发生变化的事物
base 精选档案库:旧讨论、文档、书籍
at 成员分享的图表,需对照我们的公开方法进行审核

目前,父级大语言模型(LLM)会读取子智能体的描述,并通过 spawn_agent 选择其中一个。引入“门控”(gate)机制后,这一决策权将从父级 LLM 手中转移出去:

  1. 在智能体上设置一个门控选项,指向一个决策模型。
  2. 可选方案包括已有的子智能体描述,外加“自行回答”。管理员无需编写任何新内容。
  3. 仅提供当前用户有权限访问的子智能体。
  4. 当置信度高于阈值时,子智能体直接运行;低于阈值时,结果作为提示传递给父级 LLM,由 LLM 像现在一样做出决定。
  5. 由于决策模型可以分类图像,“成员分享了图表”这一判断可直接来自图像本身。

同样的门控机制,若以是/否问题的形式呈现,也可在 LLM 运行前作为护栏使用。

我们是一个教育社区,不提供交易信号、价格目标或投资建议,因此*“这是否是在询问交易信号?”* → 返回固定回复。目前,这条规则写在每个提示词中,但在压力测试下,模型往往会偏离该规则。

如果您能着手实现,我们将很乐意在我们的论坛上试用早期版本。