语义搜索没有得到很多结果

我很难让语义人工智能搜索给我任何结果,所以我想和大家核实一下,看看你们有什么想法可能出了问题。

如果我举一个简单的例子搜索“shopify”,你可以看到我得到了很多正常的结果,但没有人工智能结果。当我将其与在 Discourse Meta 社区搜索“shopify”进行比较时,你可以看到我得到了许多正常结果和许多人工智能结果。我尝试过更复杂和具体的问题,但仍然没有结果。

至于我们的设置,我们正在使用 gpt-4o-mini,并且它已正确设置在 LLMs 下。“AI embeddings semantic search enabled”已启用。我们正在使用“text-embedding-ada-002”进行嵌入。


2 个赞

感谢您的报告,团队会进行查看!

谢谢 Sam!我想确认一下我没有遗漏什么明显的问题,因为在您自己的网站上它似乎运行得更好。

唯一能想到的是,我们可能还没有完成您网站上嵌入的回填工作,我们会看一下。

@tyler.lamparter

乍一看,我发现你网站的当前配置有一个问题,那就是你正在使用 text-embedding-ada-002,但却为提示填入了该模型不支持的嵌入配置。我已经删除了你设置的说明,并重新生成了你网站上的嵌入。

我还在更新这些设置的工具提示,以避免将来出现这种混淆。

除此之外,我尝试搜索“shopify integration”,并得到了以下假设搜索文档:

这与我们的预期一致。

你能现在尝试搜索并分享你的体验吗?

@Falco 这个似乎效果好多了,谢谢!我曾尝试在嵌入配置中添加提示以期改善它,但它当然没有任何效果。

2 个赞

@Falco 也许我话说得太早了。现在每次搜索时,AI 总是显示找到 40 个结果,无论我搜索什么。许多结果也不太相关(例如,建议“关于此类别”的主题)。



1 个赞

我将尝试使用不同的嵌入模型。大约一小时后向您汇报。

1 个赞

这条搜索查询的理想结果应显示关于Celigo所使用的JavaScript版本的详细信息,包括具体的版本号、相关的开发文档或支持的JavaScript特性,以及可能的更新日志或兼容性说明。

在这种特定情况下,我预计不会有搜索结果,也不会有 AI 结果。我们支持 ES6/ECMAScript2015 JS(是的,非常旧),但目前还没有在任何社区帖子中出现。

哦哦哦,我明白了。这种情况下的做法行不通。

我们目前的 AI 搜索方式是这样的:

  • 接收用户输入
  • 根据论坛描述创建一个关于该输入的新帖子
  • 返回与该新帖子在语义上最相似的主题

搜索没有截止距离阈值,因为要找出能覆盖数千个 Discourse 实例的通用阈值并非易事。这在 Setting a similarity threshold for semantic search 有讨论。

我们正在研究推出一种新方法,该方法将执行更标准的 LLM + RAG 搜索并返回对话式响应,您可以调整提示词来表示“未找到结果”。这将在未来几周内推出,届时我会在此处通知您可以进行测试。

2 个赞

那就太好了。这正是我试图在嵌入部分添加提示时所做的。既然您现在无法设置阈值,这就是为什么我们总是看到大约 40 个结果的原因吗?

是的,没错。

今天,AI 搜索在标准搜索没有返回任何结果时充当故障转移系统,就像一个功能过强的同义词词典。但是,在您的情况下,搜索查询在整个论坛中没有任何可能的结果,这并不是它被设计用来解决的用例。

请继续关注下一版本的搜索功能,它将更接近您想要的功能。

3 个赞

我可以将我们的嵌入模型改回 text-embedding-ada-002 吗?

1 个赞

@tyler.lamparter 查看 Conversational AI Search coming to Discourse AI 。如果您想在您的网站上进行测试,请告诉我。

2 个赞

是的,我想在我们的网站上测试一下。我在您的网站上进行了测试,在进行完整搜索时也看到了现有的“使用 AI 隐藏 50 条结果”切换。此切换是否仍在使用之前的 HyDE 搜索?

新功能根本不使用切换。它将对话式答案显示在标准搜索体验之上,并与现有的关键字和语义搜索并行存在。

我当时也是这么想的。如果新功能对我们来说效果不错,那么我们可能会禁用 HyDE 开关。

1 个赞

这个角色可以关联自定义工具吗?我想这可以作为一种方式,从我们的外部知识库中提取相关文档,并在不与机器人交互的情况下显示在搜索结果中。

1 个赞

是的,它可以做到所有这些,正如在 Conversational AI Search coming to Discourse AI 中所指定的。

2 个赞