我很难让语义人工智能搜索给我任何结果,所以我想和大家核实一下,看看你们有什么想法可能出了问题。
如果我举一个简单的例子搜索“shopify”,你可以看到我得到了很多正常的结果,但没有人工智能结果。当我将其与在 Discourse Meta 社区搜索“shopify”进行比较时,你可以看到我得到了许多正常结果和许多人工智能结果。我尝试过更复杂和具体的问题,但仍然没有结果。
至于我们的设置,我们正在使用 gpt-4o-mini,并且它已正确设置在 LLMs 下。“AI embeddings semantic search enabled”已启用。我们正在使用“text-embedding-ada-002”进行嵌入。
2 个赞
谢谢 Sam!我想确认一下我没有遗漏什么明显的问题,因为在您自己的网站上它似乎运行得更好。
sam
(Sam Saffron)
6
唯一能想到的是,我们可能还没有完成您网站上嵌入的回填工作,我们会看一下。
Falco
(Falco)
7
嘿 @tyler.lamparter,
乍一看,我发现你网站的当前配置有一个问题,那就是你正在使用 text-embedding-ada-002,但却为提示填入了该模型不支持的嵌入配置。我已经删除了你设置的说明,并重新生成了你网站上的嵌入。
我还在更新这些设置的工具提示,以避免将来出现这种混淆。
除此之外,我尝试搜索“shopify integration”,并得到了以下假设搜索文档:
这与我们的预期一致。
你能现在尝试搜索并分享你的体验吗?
@Falco 这个似乎效果好多了,谢谢!我曾尝试在嵌入配置中添加提示以期改善它,但它当然没有任何效果。
2 个赞
Falco
(Falco)
10
我将尝试使用不同的嵌入模型。大约一小时后向您汇报。
1 个赞
Falco
(Falco)
11
这条搜索查询的理想结果应显示关于Celigo所使用的JavaScript版本的详细信息,包括具体的版本号、相关的开发文档或支持的JavaScript特性,以及可能的更新日志或兼容性说明。
在这种特定情况下,我预计不会有搜索结果,也不会有 AI 结果。我们支持 ES6/ECMAScript2015 JS(是的,非常旧),但目前还没有在任何社区帖子中出现。
Falco
(Falco)
13
哦哦哦,我明白了。这种情况下的做法行不通。
我们目前的 AI 搜索方式是这样的:
- 接收用户输入
- 根据论坛描述创建一个关于该输入的新帖子
- 返回与该新帖子在语义上最相似的主题
搜索没有截止距离阈值,因为要找出能覆盖数千个 Discourse 实例的通用阈值并非易事。这在 Setting a similarity threshold for semantic search 有讨论。
我们正在研究推出一种新方法,该方法将执行更标准的 LLM + RAG 搜索并返回对话式响应,您可以调整提示词来表示“未找到结果”。这将在未来几周内推出,届时我会在此处通知您可以进行测试。
2 个赞
那就太好了。这正是我试图在嵌入部分添加提示时所做的。既然您现在无法设置阈值,这就是为什么我们总是看到大约 40 个结果的原因吗?
Falco
(Falco)
15
是的,没错。
今天,AI 搜索在标准搜索没有返回任何结果时充当故障转移系统,就像一个功能过强的同义词词典。但是,在您的情况下,搜索查询在整个论坛中没有任何可能的结果,这并不是它被设计用来解决的用例。
请继续关注下一版本的搜索功能,它将更接近您想要的功能。
3 个赞
我可以将我们的嵌入模型改回 text-embedding-ada-002 吗?
1 个赞
Falco
(Falco)
20
2 个赞
是的,我想在我们的网站上测试一下。我在您的网站上进行了测试,在进行完整搜索时也看到了现有的“使用 AI 隐藏 50 条结果”切换。此切换是否仍在使用之前的 HyDE 搜索?
Falco
(Falco)
22
新功能根本不使用切换。它将对话式答案显示在标准搜索体验之上,并与现有的关键字和语义搜索并行存在。
我当时也是这么想的。如果新功能对我们来说效果不错,那么我们可能会禁用 HyDE 开关。
1 个赞
这个角色可以关联自定义工具吗?我想这可以作为一种方式,从我们的外部知识库中提取相关文档,并在不与机器人交互的情况下显示在搜索结果中。
1 个赞
Falco
(Falco)
25
2 个赞