人工智能+自动化治理:协调独立的人工智能分诊脚本

我正在使用独立的 AI 筛选脚本(例如,垃圾邮件检查、标签确定)来构建 AI 驱动的自动化。这些脚本目前是并发运行的,效率低下。我需要将它们“链接”起来,以便,例如,仅当垃圾邮件脚本未标记内容时才运行标签脚本。

如何为更合乎逻辑的工作流程管理和编排这些脚本?具体来说,如何有条件地链接这些脚本?

2 个赞

您能描述一下您想要的完整流程吗?您是打算在单独的服务器上运行此程序,还是希望它在 Discourse 中运行?

人工智能工作流是我们一直在深入思考的问题,能够定义链是工作流的关键。我完全同意这一点。

据我所见,我的大部分用例都可以通过 Discourse 中的 AI 分类和自动化来完成,前提是能够触发下一步。

这是一个假设的流程,其中每个步骤都会将帖子内容和提示发送到 LLM:

  1. 检查是否为垃圾邮件
  • 如果是垃圾邮件,则隐藏并标记
  1. 如果不是垃圾邮件,则确定讨论的产品
  • 添加产品标签
  1. 接下来确定意图:
    ** 投诉
    ** 问题
    ** 建议
    ** 信息共享
    ** 正面反馈
  • 添加意图标签
  1. 如果意图是“投诉”,则评估是否为热点问题:即包含热点短语(取消、糟糕、缓慢)
  • 如果是热点问题,则添加“hot”标签并分配给 Sam
  1. 如果意图是“正面反馈”且产品是“无线电话套餐”,则撰写自定义的推荐计划邀请函并通过私信发送。
2 个赞

这是一个很棒且非常有趣的用例。

自定义工具现在已经支持脚本编写,因此我们拥有了实现这种更改的绝佳途径。

我正在考虑使用 Persona + 强制工具使用——然后从工具中我们可以运行流程,因为我们已经拥有了所有必要的底层架构。只需要让自定义工具能够触发其他 LLM 调用,这相对容易添加。

有趣的是,鉴于自定义工具支持 REST 调用,它们可以运行整个流程(并且只需使用 discourse REST API 来连接这一切)。

我将在周末仔细考虑一下,下周会再次回复,说明我认为如何实现这一点。

自动化链式调用也是一个非常有趣的解决方案,@j.jaffeux 你考虑过这个问题吗?

2 个赞

这让我想起了 IFTTT/Zapier 的操作链,我认为如果我们构建类似的东西,可以借鉴他们很多的 UI/UX 元素。

您好 @Cloud_spanner 我正在努力弄清楚这一点,并希望在此处更详细地阐述实际流程,您能否在过程中回答一些问题? 5.?

  1. 应该扫描哪些帖子?

    1. 论坛上的每篇新帖子?
    2. 论坛上的每个新主题 - 例如第 1 篇帖子?
    3. 编辑呢?每次编辑都应该被扫描吗?频率如何?(10 分钟去抖)
    4. 高信任度的用户呢?已经在论坛上发帖两次的用户?
  2. 意图

    1. 应该适用于所有主题?所有帖子?
    2. 如果意图标签已存在怎么办?
    3. 一个主题可以有多个意图吗(这是一个标签组吗?)
  3. 如果意图可以是手动的,那么手动标记的内容也应该被扫描以查找“热点”吗?

    1. hot 是一个不可见的标签还是可见的标签?

我特别想到的是:

  1. “工作流程”是否包含快捷方式,其中特定帖子会跳过步骤并继续到下一步?
  2. 我们如何避免反馈循环和边缘情况?
  1. 每个新主题都应启动一个 AI 筛选工作流。可以忽略编辑。

  2. 明确地说,我使用意图来说明工作流,因此不应将其视为硬编码流程。我想说的是,如果第一个筛选工作流认为没有必要,就没有理由启动“意图”工作流。+1 支持 IFTTT 工作流概念。

意图和“热门”在此示例中将是隐藏标签,仅对版主和管理员可见。

每个帖子应只有一个意图标签。

  1. 我认为为了工作流的方便,我们可以忽略手动标记的帖子。

是的。

如果使用私有标签来表明工作流已在该主题上运行,会怎样?然后,在未来的任何运行中都可以忽略它。

我的另一个想法是,随着 LLM“推理”能力的增强 + 大上下文窗口,是否最好允许在 Discourse Automation 窗口中使用结构化输出。然后,IFTTT 逻辑可以应用于单个自动化,而不是链接多个自动化。想象一下,如果有一个自动化,但有许多“搜索文本”操作。

2 个赞

我一直在思考如何在我们当前的系统内解决这个问题,一个非常有吸引力的选项是允许一种新的自动化类型:

triage_using_custom_tool

我们已经有了自定义工具系统:

然后我们可以允许它拥有更多功能,例如 llm.generatetopic.closetopic.tag 等,这些都可以被工具用来执行这些类型的流程。

它的另一个优点是,你甚至可以对其进行测试,这样可以更容易地对其进行调整。

1 个赞

听起来是个好主意。我对 Discourse 生态系统还算新,所以我会研究自定义工具,以及功能请求是如何进入生产环境的。

2 个赞

我有一个好消息,您的工作流现在可以使用自定义工具全部正常运行!

这个想法是,您将定义一个包含所有参数的单个自定义工具:

is_spamintenthotrequires_invite

然后,您将点击“使用个性化进行分类”来调用该工具,该工具将执行所有操作(目前通过 Discourse API,但我们可以随着时间的推移公开更多内置功能)。

以下是有关如何将所有这些内容组合在一起的一个很好的入门介绍:

1 个赞