我已经和机器人玩过了,它已经很棒了。我能否添加语音来启用语义搜索?在我迄今为止的实验中,这会让机器人变得 _聪明_得多,至少在我们网站上是这样。如果我比较它找到并总结或回答的结果,它们比它进行语义搜索时会使用的结果要差得多。
同样,在使用 / 时,是否可以默认启用语义搜索?同样,我认为我们的大多数用户会更喜欢这些结果。我们有很多知识库类型的帖子,它们并不总是使用人们实际会说/搜索的关键词,但它们在语义上是相关的。这意味着传统的搜索往往会找出质量较低的帖子,其中人们在非正式地讨论问题,而不是他们问题的标准答案。
2 个赞
EricGT
(EricGT)
2
您能分享一些示例提示/问题吗?
我也认为人工智能机器人对网站非常有益,但我对提示/问题的想法不一定与他人相同,因此正在寻找其他提示/问题以供可能的演示目的。
2 个赞
老实说,即使将当前的语义搜索用作机器人工作流的一部分,那也很棒。它现在运行良好,只是信息上下文不对,即使当前的语义搜索能够找到它们。
能够控制提示词会很棒,但我明白用户界面在这方面也很困难,因为错误的提示词很容易导致问题。我认为为机器人添加一个“个性”(persona)的概念,并将其作为系统提示词输入,可能是个不错的入门方式。
1 个赞
sam
(Sam Saffron)
4
当然,这是我非常想要的,事实上,我希望论坛管理员能够创建具有自定义命令集的自定义角色。
6 个赞
我确实认为提示调整对我们很有用,尽管最近为另一个项目做了一些业余的“提示工程”,我认为对于不熟悉的人来说,这需要大量的指导和大量的例子,而且用户界面可能会受益于一套示例/默认选项,例如“健谈/有趣”、“中性/准确”到“书呆子/书迷”,以展示个性措辞如何改变响应。
我还发现,由于模型的固有随机性,以及提示措辞变化的影响可能因提示的主题而异,因此很难衡量提示措辞变化的影响。开发一套标准的测试套件用户输入,并使用这些输入对个性或指令的变化如何改变机器人输出来进行试运行,可能会很有用。我想这对你们团队来说也会很有用……尽管一旦测试集变大,就会出现如何在不花费大量时间的情况下对其进行评估的问题。
我认为用户可能经常想要调整的另一个维度是语言模型在多大程度上严格遵守提示中提供的源材料。在我的测试中,你必须相当明确(并重复)地指示模型不要从上下文之外导入知识,并明确(更多指令)你宁愿没有答案也不愿得到坏答案。你还可以控制模型“展示其工作原理”和引用来源/提供示例的程度,我认为这通常是避免在上下文不包含实际答案或相关材料时出现幻觉/胡说八道的好方法。
最后的评论……我在这里看到你们一直在担心成本和节省令牌,这对于非常大的网站来说可能是合理的。然而,对于较小的或金融价值较高的应用程序(例如客户支持),我认为这并不是什么大问题,而且这种情况只会随着时间的推移而改善。额外查询单独的分类器以对响应进行健全性检查或实施用户定义的“护栏”的成本,对我们来说绝对是值得的。例如,我们发现像“这个答案是否包含在这些来源中未找到的信息”这样的提示非常有诊断性,在向用户呈现信息之前绝对值得运行。即使主要任务使用 GPT4 运行,GPT 3.5 对于此类任务绝对没问题。
3 个赞