语义搜索和语义相关主题与关键词搜索和建议主题的延迟数据有什么区别？
提前感谢。
你能详细说明一下你在这里说的延迟是什么意思吗？
对于相关主题，由于所有嵌入都已预先计算，因此没有额外的运行时成本。恰恰相反，查找相关主题的 SQL 查询比我们旧的建议主题查询更快，而且我们还缓存了相关主题以获得更快的性能。
至于 AI 搜索，我们目前的方法 HyDE[^1] 会带来严重的延迟，这就是为什么它会异步进行，并首先向用户展示标准搜索结果，并在 AI 结果准备好后提供增强搜索结果的选项。在 Meta 上，AI 搜索结果平均在正常搜索结果显示 4 秒后准备就绪。
[^1]：GPT-4：HyDE 是 Hypothetical Document Embeddings（假设文档嵌入）的缩写，是一种用于语义搜索的技术，通过内容相似性来查找文档。这种方法通过评估文档内容之间的概念相似性，而不是仅仅依赖关键词匹配，从而实现更精确、更具上下文相关性的搜索结果。它是一种零样本学习技术，结合了 GPT-3 的语言理解能力和对比文本编码器，从而增强了 AI 以更细致、更有效的方式理解和处理自然语言数据的能力。
3 个赞
正是我想要的。谢谢你，Falco。
关于降低语义搜索延迟的方法，有进行过任何调查吗？
首个版本的AI搜索延迟更低，但结果也差了很多。
至于下一个版本，我们有几个计划来降低延迟：
-
使用帖级嵌入（post level embeddings）而非主题级嵌入（topic level embeddings）
-
使用重新排序模型（re-ranker model）对搜索结果进行排序
-
使 HyDE 可选
我们相信这将使我们获得更好的搜索结果，同时也会在此过程中加快速度。再配合我们为所有托管客户免费提供的新硬件，其嵌入推理能力仅需 2 毫秒，我们才刚刚开始探索这里的可能性。
2 个赞
好的。感谢 Falco 的见解。
在我们考虑为我们的社区启用此功能时，还有几个问题：
- 当您切换开关以显示语义搜索结果时，用户看到的是语义搜索 API 和关键词搜索 API 的结果混合在一起。这是正确的吗？如果是，这两组结果是如何相互排名的？
- 同样，您能否评论一下语义结果的“排序方式”是如何工作的。我注意到，例如，一篇文章在一个排序中旁边有一个星形图标，而在另一个排序中则没有。
1 个赞
是的，完全正确。
使用一种称为“倒数排名融合”的技术。未来我们可能会切换到重新排序器。
语义搜索与排序选项不兼容，因为我们没有距离截止计算。它应该在排序顺序不是相关性时禁用/阻止。
1 个赞
好的，谢谢 Falco。根据我们看到的情况，语义搜索 API 只向客户端提供语义搜索结果。所以，我们可以推断，互惠排序融合（Reciprocal Rank Fusion）是在客户端进行的。是这样吗？另外，如果我们想自己尝试不同的选项，我们是否有权更换这个重新排序算法？
1 个赞
是的，没错。
技术上讲，既然都是基于客户端的，你可以覆盖它。
话虽如此，但长远来看，我预计我们会越来越多地依赖 re-ranker 模型，出于显而易见的原因，这些模型都将是服务器端的。
好的。谢谢！
1 个赞