探索用于话语AI的重排选项

支持
1

哦，我现在明白了，谢谢你的解释，这正是我之前遗漏的。

顺便问一下，我知道更高级的 RAG 通常会有重排（reranking）。Discourse 在处理方式上有什么类似重排的机制吗？你认为添加重排步骤会有什么积极影响吗？

2

重新排序仍在进行中。

@Falco / @Roman 在 discourse 中实现了一个基本的重新排序器：

这用于语义搜索和 RAG。但是它相当隐蔽，并且不易于配置。

我认为这里的中期计划（我们与 @awesomerobot 讨论过）是从 LLM 术语转移到 Models……并可能进行一些 UI 统一，以便您可以在单个界面中定义 embedding/rerankers 和 llms。

目前我们只支持一个非常特定的 hugging face 重新排序器 API。

它肯定能提高结果的质量。

1 个赞
3

太棒了！\n所以目前默认情况下此功能是关闭的，并且在托管（专业版）计划上无法轻松配置？

4

不确定，让我们等待 @Falco 回答。

1 个赞
5

你好 @Falco，

有没有办法启用重新排序器进行测试，或者有时间表吗？

8

我们刚刚在 DEV: Re-introduce PG Vector 0.8.0 upgrade by romanrizzi · Pull Request #35233 · discourse/discourse · GitHub 中对支持 Discourse 语义搜索的基础技术进行了重大改进。

您可以立即重试您的用例，它已经部署到您的站点。我的期望是这将改进 RAG，而无需重新排序器。

我们仍然希望使重新排序器广泛可用，但我们正在等待一些上游更改先落地。

2 个赞
11

谢谢 Falco！

这只适用于 Discourse 主题的语义搜索，还是也适用于上传到 persona 的 RAG 文档？根据我自己的经验，AI 在处理论坛主题（例如 ask.discourse）方面效果相当好，但在处理上传到 persona 的文档方面效果不佳（或者我还没有找到最佳的公式）。

1 个赞
12

它会影响 Discourse 中所有嵌入式用法的应用，包括相关主题、RAG、搜索、编辑器类别和标签建议等。

1 个赞
13

嘿 @tpetrov，使用新的嵌入模型后，结果是否有所改善？

1 个赞
14

嘿 Falco，抱歉，我没时间进行广泛测试，所以无法给出确切答复。

我猜没有办法在这两者之间切换进行比较，对吗？

1 个赞
15

现在不行了，旧的和新的模型已经可用了几个月，但我们最近在我们的托管中淘汰了旧的。

1 个赞