sam
(Sam Saffron)
1
AI 自动分诊旨在通过自动化分类帖子过程来增强论坛帖子的管理和审核。
请注意，此功能需要 discourse-automation 和 discourse-ai 插件才能正常运行。
用例
-
自动帖子分类： AI 自动分诊可以根据帖子内容自动对其进行分类。这对于手动分类耗时的大型论坛尤其有利。您可以将规则应用于部分帖子（仅限第一个帖子或发布到特定类别的帖子）。
-
帖子标记： AI 自动分诊可以为帖子分配指定的标签。此功能有助于更好地组织帖子，并使主题的搜索和检索更加高效。
-
自动回复： AI 自动分诊可以使用预定义的回复来生成帖子的回复。这对于回答常见问题或查询、将垃圾邮件发送到垃圾邮件类别等非常有用。
-
隐藏主题： AI 自动分诊可以根据某些标准隐藏主题。这可用于管理垃圾邮件或不当内容。
-
NSFW/毒性/垃圾邮件检测
工作原理
AI 自动分诊使用 AI 模型来分析帖子内容。基于此分析，如果模型返回特定文本，它将执行指定的动作。这些动作包括将帖子移动到指定类别、添加标签、使用预定义回复进行回复以及隐藏主题。
配置
系统提示字段已被弃用，取而代之的是 Persona。如果您在此更改之前有 AI 自动化，将自动创建一个具有关联系统提示的新 Persona。
要配置 AI 自动分诊，您需要指定某些参数：
- Persona： 与 AI 自动化关联的Persona。
- 搜索文本： 如果 LLM 回复中出现以下文本，则应用以下操作。
- Category： 如果找到指定文本，帖子将被移动到的类别。
- Tags： 如果找到指定文本，将添加到帖子的标签。
- Hide Topic： 如果启用此选项，则在找到指定文本时将隐藏主题。
- Flag post： 如果启用此选项，则帖子将被标记，以便版主、工作人员和管理员进行审核。
- Flag type： 将标记的帖子标记为垃圾邮件并隐藏，或将其发送到审核队列的选项。
- Reply User： 将在预定义回复中提及的用户。
- Reply： 如果找到指定文本，将发布的预定义回复。
- Reply Persona：用于回复的 AI Persona。必须具有默认的 LLM，将优先于预定义回复。将有条件地回复，不同于 Discourse AI - AI Auto responder。
- Reply as Whisper：Persona 的回复是否应显示为whisper。
注意事项
- LLM 调用可能成本高昂。应用分类器时，请务必监控成本，并始终考虑仅对小范围数据运行此功能。
- 我们测试过的特定用例（并在为客户生产环境中运行）是用户首次主题的分类。
- 我们建议您使用 AI bot 来帮助编写系统提示。
37 个赞
EricGT
(EricGT)
3
作为有幸亲眼见证其运行的幸运儿之一，这是大型网站的一项功能，您应该真正理解并考虑使用它。
由于它使用基于LLM的人工智能，因此它并不总是能得出正确的结论，但它在我看到的几天使用中，在完成版主部分工作中做得非常正确，无疑带来了显著的好处。
关于此功能的一些早期讨论可以在 OpenAI 网站的 Lounge 版块中找到。虽然任何人都可以访问该版块，但必须满足 TL3 要求，并且由于 OpenAI 是一个大型网站，因此要达到该网站的 TL3 需要付出相当大的努力。
对于有权限的用户，这是链接
https://community.openai.com/t/lost-users-first-empirical-data/403082/95
基本上，该逻辑正在帮助版主解决一个特定问题，我们发现大约 5% 的新用户发帖，他们认为论坛是他们向 ChatGPT 提问的地方，显然他们迷路了，或者搜索结果提供了无效链接。该人工智能会识别此类帖子，回复预先写好的文本，并根据需要更改版块和标签，例如：
对于上述案例，“Discourse AI Post Classifier - Automation rule”正在执行以下操作：
自动帖子分类
分类器会根据需要将版块更改为 ChatGPT。由于大多数新用户不会选择版块，因此 OpenAI 网站目前默认将新帖子的版块设置为 API，这在此情况下是不正确的。
帖子标签
分类器会将标签更改为 lost-user。标签名称是由论坛上的 TL3 用户创建的，该用户曾手动更改标签。
自动回复
分类器会回复预先写好的帖子。
隐藏主题
这些主题被设为不公开，因为它们对使用该网站的开发者没有价值。
回复用户
System 被用作回复的创建者。
注意：我会提供此功能的配置，但我缺乏访问权限。也许 @Sam 可以添加详细信息，据我所知，它可以公开，因为配置中没有任何机密信息。由于它是针对特定网站的，因此不应在公共存储库中找到它。如果您了解这项技术，那么猜测正确的值或接近的值并不难。系统提示确实需要一些工作，也许 @sam 可以分享一些经验教训，在开发阶段，如何制作提示的知识非常有价值。
系统提示
注意：这是在 OpenAI Lounge 中发布的一个版本（参考），我很确定最终版本有所不同，但一个示例可以节省大量猜测。
您是一个机器人，负责对用户在 OpenAI 开发者论坛上的所有首次互动进行分类。
请仅回复“ok”或“bad”。
帖子如果符合以下条件，则为相关且正确：
与 OpenAI API / 社区 / 插件开发 / 文档 / 提示相关
关于开发或改进大型语言模型提示的方法
与人工智能一般相关
涉及与人工智能相关的复杂讨论或逻辑问题
如果帖子符合以下条件，则为错误：
用户似乎在与 ChatGPT 进行随意对话
用户在讨论无关领域的无关主题
用户在没有明确目的的情况下提示大型语言模型生成文本
您很难理解它们是关于什么的
与 OpenAI 主题相关但明显是与机器人进行的对话
用户试图通过其帖子来训练或测试 AI 模型
用户正在以非讨论格式提供说明或请求回复
用户发布的帖子不利于有意义的讨论或学习
用户发布的假设性或推测性内容与 OpenAI 的范围没有明确关系
用户发布的整个帖子不是英文
请分类以下用 [[[]]] 括起来的内容：
[[[
%%POST%%
]]]
供参考
如果您是使用此功能的网站版主，并且您想/需要查看未公开帖子的列表，请记住您无法使用搜索。但是，您可以通过导航到版块然后选择标签来找到此类列表。或者，您也可以手动构建 URL，例如 https://community.openai.com/tags/c/chatgpt/19/lost-user
是的，它甚至适用于英语以外的语言
但是它不适用于图像 
，它不会将图像转换为文本然后运行检查，例如：
这是一个最近的误报，或者至少我认为是。
有关假/真阴性/阳性的详细信息 - 分类：真与假以及阳性与阴性
17 个赞
EricGT
(EricGT)
4
一个可能的功能。
至少对于审核帖子的版主来说，当他们查看主题时，将文本转换为版主的语言。这不仅仅是指标记，而是指查看帖子的任何时候。
有时在审查 Discourse AI 帖子分类器的操作时，需要将帖子的文本转换为我的语言（英语），以检查 AI 是否采取了正确的操作。目前，我更容易将文本粘贴到谷歌翻译中。
4 个赞
sam
(Sam Saffron)
5
值得注意的是，这与此支线任务有关。
@keegan 正在致力于将 AI 助手集成到我们的弹出菜单中。因此，将来在遇到大量未知语言文本时，您将能够直接突出显示文本并进行翻译。
我们今天在编辑器中支持此功能，但一旦合并，您将能够突出显示任何 Discourse 帖子中的文本并获得基于 LLM 的快速翻译。
6 个赞
能否举例说明如何通过引用您论坛现有的标签来做到这一点？例如，帖子由 LLM 分析，最有可能/最相关的标签会被添加到帖子中。
3 个赞
sam
(Sam Saffron)
8
我很喜欢这个问题，你能详细说明一下吗……你希望这如何运作？
- 如果某个主题已有关联标签，你还会应用“自动标签”吗？
- 你会将其应用于所有首帖，还是仅应用于特定群组的首帖？（例如：tl0 / tl1）
- 这是你希望手动处理一部分主题的事情吗？
我们需要在这里做一些调整……目前分类器是二元的，但只要我们知道目标是什么，这些更改就相对容易。
3 个赞
- 应用于类别中的所有新主题
- 当然可以选择按信任级别进行区分。就像所有事物（在这种情况下，是每个社区）一样，这取决于具体情况。在我的社区中，我可能会为除 tl4 之外的所有人（或者如果该配置不可用，则为所有人）启用它。
- 我更希望它在指定类别中的所有新主题上运行
这里的目标当然是永远不必自己处理主题标记，而是让 AI 完全根据创建的初始主题以及它查看我们现有的标签来完成此操作。
如果您能够为 Discourse 中的标签添加描述，并让它使用这些描述作为附加上下文来添加正确的标签，那么它可能会得到进一步的改进 
6 个赞
EricGT
(EricGT)
10
首先，我想说明我完全支持这项功能，并希望它变得更好。以下是我目前了解到的（2023年10月16日）它的工作方式的一些事实。作为OpenAI的类别版主，我每天都会审查所有新帖子，但不一定审查所有回复，并且确实会看到所有AI误报和漏报。
作为使用此功能（Discourse AI Post Classifier - Automation rule）的用户，请注意：
- 它并非100%准确
- 目前需要手动操作来撤销AI的误报。根据更改的性质，可能需要类别版主或更高级别的人员来处理；特别是列出一个未列出的主题。
- 可能会漏掉一些主题，即漏报。
- 许多收到AI自动回复的用户不明白如何标记AI的误报回复，因此需要手动识别和更改。所以需要真实用户来捕捉这些。
- 了解如何构建提示词以使其按需工作。
- 可能需要进行微调和/或使用代理（agents）才能达到期望的满意度水平，这可能会很昂贵。
- 无法跟踪误报和漏报，以便了解如何更改提示词和/或可能的微调和/或代理。
误报（false positive）- AI本不应进行更改但进行了更改，这是不正确的。
漏报（false negative）- AI本应进行更改但未进行更改，这是不正确的。
真阳性（true positive）- AI进行了更改，这是正确的。
真阴性（true negative）- AI未进行更改，这是正确的。
4 个赞
sam
(Sam Saffron)
11
在这里，一个好的开场白是尝试在创意模式下进行提示：
例如……
你是一个 Discourse 自动标签器，你为主题建议一个标签列表。
标签是：
tag1：描述
tag2：描述
为以下主题建议最多 3 个标签：
TOPIC
在你的几个主题上试试这个，它效果如何？
8 个赞
EricGT
(EricGT)
13
最近更新（2023年1月11日）
机器人的用户ID现在是 gpt-4-triage，至少在OpenAI论坛上是这样。
这样做的目的是让用户可以根据需要静音机器人。
机器人响应示例。
2 个赞
sam
(Sam Saffron)
14
请注意，这是可配置的，您可以让自动回复来自您希望的任何用户
5 个赞
所以，在试用之后，我来跟进一下。
这似乎还处于早期阶段，我很期待它的发展，但 @jordan-violet 的看法 100% 符合我的目标。我确实尝试了 @sam 建议的测试提示，它似乎足够智能，可以理论上应用正确的标签。然而，目前的脚本似乎将适用标签限制为 7 个，而我们拥有的标签数量远不止于此。
简而言之？如果它能将现有标签语义化地应用于新主题，那就太好了。就论坛管理而言（即使在这里的元讨论区，我也注意到了！），持续应用标签以更好地组织社区及其内容仍然是一场艰苦的战斗，而且在大规模情况下会变得一团糟。对于我们这些依赖标签的人来说，这将是一个福音，即使它只有 75% 的准确率。
我会关注它的发展！
2 个赞
aas
17
太棒了！您有什么调试建议吗？我刚刚配置了一个自动化，但它没有按预期触发。我没有看到任何相关的日志。
1 个赞
aas
19
我记得我一开始没有设置这个选项。当我设置之后，它就开始工作了。
3 个赞
loginerror
(Maciej Kuźmicz)
20
快速提问。是否有计划为这些自动化显示审计日志（也许类似于您已有的 webhook 模式）？
这将有助于缓解自动化启用后我感到的“你做了什么”的恐惧感 
sam
(Sam Saffron)
21
Ai log 已经存储了所有 llm 交互。您今天可以通过数据浏览器查询来使用它。
2 个赞
loginerror
(Maciej Kuźmicz)
22
虽然这是事实，但很难将 llm_triage 类型的日志条目与其影响的帖子/主题或已采取（或未采取）的相应操作联系起来。
能够概览这些操作将非常棒
5 个赞
