discourse-ai 的 RAG 能力

我刚完成 discourse-ai 的设置,我想知道 AI 的 RAG 容量是多少?
我看到它可以从帖子中检索内容,但我必须问它很多次,它才能真正理解信息应该在某个主题中找到。
其他功能运行良好!

个人资料有一个上传部分,您可以将多个文本文件上传到您的个人资料。

请参阅:AI bot - Personas

您需要为此配置嵌入才能使其正常工作。

1 个赞

谢谢,我看到了那部分内容,非常好,但我仍然有一些问题。

一些背景:我们使用 Discourse 作为知识库和技术问答论坛,我们所有的文档都在上面。

我们将使用 Persona 的上传部分来输入我们不直接放在论坛上的数据,例如我们公司文档中的数据。

现在,对于我们存在于论坛上的技术文档,我们希望能够使用 AI 来提问。根据我的理解,Discourse AI 聊天并不是为此设计的,并且在 Persona 工具中配置时,它只会搜索论坛,再加上一些 AI 处理?

是否计划推出一个聊天机器人,使其能够在论坛本身上启用 RAG 功能,包括主题内容?

1 个赞

今天这一切都得到了 100% 的支持,并提供了多种实现选项。

  1. 搜索工具可以限定在一组类别或标签(当您创建新用户并添加搜索工具时)
  2. 自定义工具在此提供了额外的灵活性,您可以向同一论坛发出 http 请求,并以任何您想要的格式消耗论坛上的任何内容……包括 HTTP 请求到嵌入式搜索……请参阅:https://meta.discourse.org/t/api-access-to-the-embedding-s-for-a-post/289683/3。在自定义工具中发出 HTTP 请求时,您可以指定 HTTP 标头,因此您可以使用在论坛上发布的 API 密钥。
  3. 读取工具允许您读取主题
  4. 这个正在进行中的 PR 将允许您直接从工具中搜索您的上传内容。(https://github.com/discourse/discourse-ai/pull/802),这是另一个选项。
  5. 您可以根据您的偏好控制模式(PM vs Chat)

您可以在 ask.discourse.com 上看到一个示例实现(它被设计为我们客户的支持机器人)——最重要的是,它不涉及任何自定义插件,所有这些都使用了内置的 Discourse AI 插件。

6 个赞

免责声明:我是一个事实上的最终用户,甚至不明白人工智能是如何真正工作的。而且我使用 OpenAI。

人工智能没有给出预期答案的原因有几个。

  • 提示决定了它可以搜索的范围和方式。一个错误的措辞就会让它随心所欲。
  • 人工智能不像谷歌那样拥有超能力和解释事物的技巧,尽管它在某种程度上是这样的。它也能找到正确的匹配项,而且,就像谷歌一样糟糕。它实际上并没有阅读和分析所有内容,而是它只是……这样认为。
  • RAG 和嵌入是有效的,但需要极其严格的提示。但这些只是提供了一个方向,很多时候并不是一个稳固的基础来构建答案。仅仅是嵌入就需要大量的人工劳动,而且很多时候主题本身并不足够。一个主题或一篇文章(更糟糕的是)可能足够准确和合乎逻辑,但在现实生活中呢?不行。这就是为什么 ask.discourse.com 经常失败,除非被问到一个非常有限和有针对性的问题。我如何只允许在注册时使用特定的电子邮件域名?砰,你就得到了答案。我如何在我收到群组私人消息时收到通知?大量的幻觉和错误的引用。

OpenAI 最令人不安的想法是,错误的答案是可以接受的。这是一个数量问题,特别是这些幻觉和事实错误的答案会给公司带来多少成本。

这对公司来说非常真实,但对那个用户来说却非常糟糕。

人工智能可以非常准确。所有需要的是大量的人力来编码和维护它,以及如此强大的计算能力,以至于挖比特币只是一个便宜的爱好。

我非常薄弱的一点是,仅仅将手册丢入主题是不够的。

这是一个非常重要的见解:你永远无法真正完成这些类型的系统。

我们最终会重复这个过程:

  1. 用户询问 AI 并得到一个糟糕的答案
  2. 我们进行审查
  3. 修复文档,接受一个正确的答案,并删除搜索“地雷”
  4. 提出相同的问题并得到一个正确的答案

这些不是你可以部署后就置之不理的系统;它们需要持续的调整。

请注意,如果您对糟糕的答案点“踩”,将极大地帮助我们。

3 个赞

确实如此。而且我的提示词确实可能很糟糕。

但是……最终用户正在使用这些机器人,而他们并不擅长写高质量的问题,无法引导 AI 获得所需信息。而我今天获得的知识,即使是错误的,最终也会带来更好的质量,但目前帮助不大。

我不知道我的观点是什么,只是构建/训练/调整一个命中率超过 80% 的 AI 所需的工作和精选内容,比仅仅发布话题要多得多。而这项工作需要花费金钱(所以希望您的业务会蒸蒸日上,因为我非常喜欢校对,即使这个功能现在已经偏离主题了)。

1 个赞

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.