本主题涵盖 Discourse AI 插件的“摘要”功能的配置。
所需用户级别：管理员
为主题和聊天频道生成摘要，以便快速回顾。在大型主题和讨论中使用它，以了解正在发生的事情。
功能
- 从主题地图（主题顶部和底部）摘要主题
- 摘要特定时间段（最多 7 天）的聊天频道
- 缓存先前生成主题中的摘要
- 重新生成旧摘要
- 查看摘要日期和使用的 AI 模型
启用摘要
先决条件
您必须配置至少一个来自提供商的大型语言模型 (LLM)。
要开始，您可以通过 Discourse AI - 大型语言模型 (LLM) 设置页面 进行配置。
配置
- 转到
Admin 设置 → Plugins → AI → Settings 选项卡，并确保已启用 (discourse ai enabled)
- 通过
ai summarization model 设置要使用的 LLM
- 勾选
ai summarization enabled 以启用摘要
- 我们建议通过
ai custom summarization allowed groups 设置哪些用户组可以生成和查看摘要
- （可选）通过
ai pm summarization allowed groups 为特定用户组启用私信 (PM) 摘要
自行托管者需要配置以下设置：
ai_summarization_discourse_service_api_endpointai_summarization_discourse_service_api_key
技术常见问题解答
摘要会缓存结果吗？
- 摘要会缓存结果，甚至可以为选定用户组之外的所有用户提供这些结果。
注意事项
- 摘要输出可能不 100% 准确，请务必仔细检查任何输出。
- LLM 调用可能成本高昂。我们建议为特定用户组启用摘要，以帮助控制成本。
20 个赞
EricGT
(EricGT)
18
问题
摘要
今天，OpenAI论坛启用了摘要功能。在与一位用户讨论时，我发现我们版主看到的“总结此主题”的内容比其他用户少得多。
作为版主，我们看到的“总结此主题”选项
- 对于论坛 - 一个主题帖子后跟一个回复帖子将显示选项
- 对于直接消息 - 一个主题帖子将显示选项
我试图查找这方面的文档，但一无所获。我是否错过了什么？
关于摘要的反馈
哇！太完美了！
我们需要摘要，而且我们需要它现在就要！
（参考）
注意到的摘要主题就在该回复的上方，在此。
建议
自动将摘要回复添加到回复多、浏览量大的主题中，特别是讨论相关主题。
显然需要一些设置，以便可以自定义摘要的频率和哪些主题，这可能需要AI来选择。
还要以某种方式识别摘要回复，以便摘要代码不使用任何摘要回复，因为这可能会影响后续摘要信息的准确性。
在过去的几天里，作为版主，我一直在手动挑选主题并将Discourse AI摘要添加为回复。虽然反馈有限，但都是积极的。
示例
疯狂的建议
创建Discourse新闻网站
我每天访问许多网站获取更新。其中一些网站提供有关最新AI趋势的新闻文章。许多新闻文章实际上只是许多事实性的单行文字。我今天早上读的一篇新闻文章是从OpenAI Discourse论坛和Discord论坛提取的。在使用该主题的摘要时，我注意到生成的摘要内容与新闻文章一样好甚至更好。
现在我们很多人都知道Hacker News。
那么为什么不创建Discourse新闻，它根据同意提供内容的Discourse网站来提取新闻。显然，每个网站、用户和主题都需要有选择加入的选项，但你永远不知道，它可能会成为The Pile的新信息来源，如果它也获得适当的批准，将使许多人受益。
反馈
为这个主题创建了一个摘要，但没有公开张贴
摘要是在此帖子（第5条）之后创建的
摘要
用户jy.genre报告代码解释器离线，并附带一张图片。EricGT回应说，对他来说是活动的，并生成了代码。他们还分享了Discourse论坛和显示维护消息的OpenAI状态页面的图片，而他们以前没有见过。他们还分享了更新的维护消息。Markanthonykoop也报告看到维护弹出窗口，并且以前遇到过服务循环的问题。Magejosh确认他们无法打开新的代码解释器聊天，但可以向以前打开的聊天上传文件。他们注意到重复的错误和被遗忘的指令更加频繁，但推测这是由于维护。EricGT从OpenAI状态页面分享了另一条维护更新。
两个观察结果
- 事件的时间或顺序很重要，但摘要中缺失了
- 图片中有大量关键信息未被提取用于摘要，也许可以使用OCR。
EricGT
(EricGT)
24
原始主题在 OpenAI Discourse 的 Lounge 分类中，大多数人无法访问。
在此发布供 Roman 和 Falco 查看，也为 Sam 省去转述的麻烦；Sam 在 OpenAI 的摘要方面做得很好。
我喜欢重开这个想法。
另外，请考虑将类似的主题合并到一个，例如：
2 个赞
14 篇帖子已拆分到一个新主题：为 AI 摘要添加更多语言支持
是否有办法清除使用其他 LLM 缓存的摘要？我之所以这样问，是因为一个 LLM 给了我一个很棒的摘要，所以我已经换成了另一个，但不确定如何从论坛系统中删除这个旧摘要。
Falco
(Falco)
41
目前，员工可以在 1 小时后重新生成摘要。另一种方法是使用 Ruby 控制台从数据库中删除特定的缓存摘要。
3 个赞
Falco
(Falco)
42
顺便说一句，我们发现现有的摘要模型对于 Discourse 来说不够好，因此我们已切换为使用 LLM 进行此操作。如果您有具有足够 GPU VRAM 的服务器，运行基于 Llama2 的 LLM 将为您在 #ai-summarization 和 ai-helper 方面带来出色的结果。我已更新 Discourse AI - 自托管指南，其中包含有关如何运行所述 LLM 的基本说明。
2 个赞
pfaffman
(Jay Pfaffman)
43
1 个赞
Falco
(Falco)
44
你应该看看我上面链接的编辑，它正好有这个！
但它的长版本是，量化允许你在质量和速度之间进行权衡，以便在较低的规格上运行。如果你想运行最好的模型，没有量化，你需要大约160GB的VRAM。如果你接受较差的质量、速度、延迟等，你可以使用其5%。
我们有“足够好”的结果，运行我上面作为示例的模型，它在拥有96GB VRAM的机器上几乎无法运行。
3 个赞
我可能错过了，如果我错了请原谅我，但工作人员强制重新生成摘要的选项在哪里？
抱歉顶帖，但我一直找不到工作人员在1小时后重新生成摘要的方法。这个1小时的时间窗口是否需要回复了该主题，是否需要执行某种秘密的UI组合才能访问它，等等？
swong
(Simon Wong)
47
是否有办法使用 Anthropic's claude-2 摘要策略，通过 AWS Bedrock 并拥有 Anthropic 访问权限（AI Chat Bot 有此选项）？
目前，只有在配置了 ai_anthropic_api_key 时才能选择任一 Anthropic 模型。
1 个赞
Falco
(Falco)
48
是的，你需要\n\n- 将 ai_anthropic_api_key 设置为“a”（以绕过验证）\n- 填写你的 bedrock 凭据\n- 选择 claude 2 作为摘要模型\n\n我们计划对 UI 中模型/推理/API 的选择方式进行全面改革，但在此期间，这将对你有用。
4 个赞
EricGT
(EricGT)
49
反馈。
总的来说，摘要工作正常。
对于帖子中的图片链接，链接不正确。
例如：
跟随 [Foxabilo](/t/-/475167/13; /t/-/475167/24; /t/-/475167/34; /t/-/475167/37) 分享的一些照片
Jagster
(Jakke Lehtonen)
50
这是关于语言的老问题……但有人知道为什么有时摘要会遵循主题的语言，有时却会使用英语吗？这看起来完全是随机发生的。
那么实际的问题是，是否有我们可以建议使用语言的系统提示，还是它来自摘要工具？
1 个赞
sam
(Sam Saffron)
51
目前这是硬编码在内部的，但我们计划允许在此处进行灵活设置。
有些人喜欢更长的摘要，有些人喜欢更短的摘要……等等……
4 个赞
RBoy
(RBoy)
54
此文本可能需要更新，因为我认为它也支持 Gemini。
此外，关于设置 UI 的反馈，是否有特别的原因将 summarization_strategy（摘要策略）和 custom summarization allowed groups（自定义摘要允许组）设置移至“Others”（其他）页面，而不是像其他 AI 设置一样放在“Discourse AI”页面？我花了好一阵子才找到它，而且它被一堆不相关的设置弄得难以查找。
RBoy
(RBoy)
55
如何启用/禁用此功能？我没有看到所需帖数的“摘要”按钮，并且在错误日志中看到消息，因此我想尝试将其关闭，然后再重新打开。
Shauny
(Shaun Robinson)
56
如何完全禁用 AI 摘要？
质量太差了，我觉得整个按钮毫无意义——我想把它移除。
Falco
(Falco)
57
您可以通过“summarization strategy”（摘要策略）设置来禁用它，就像启用它一样。要禁用它，您可以将其重置为默认的站点设置值。
您正在使用什么模型？我们发现 Claude 3 Opus 在此任务上的表现最佳。
