我是 discourse AI 的新手。我正在使用“sentence-transformers/all-mpnet-base-v2”作为我的嵌入模型。这足以进行语义搜索吗？
或者我需要为此添加一个 Hyde 模型？
请指导我。
您还需要一个用于语义搜索的 LLM。如果您想自托管，请参阅 自托管用于 DiscourseAI 的开源 LLM。
非常感谢。
您能否就“mistralai/Mistral-7B-Instruct-v0.2”模型在本地部署和云端部署的企业级网站的硬件要求给我一些建议？
另外，我在管理面板中找不到该模型的任何分词器。
这里没有特定于 Discourse 的内容，因此适用标准规则。一个 7B 模型，如果使用 fp16 运行，将需要大约 14GB 的 VRAM 加上上下文的空间。您可以使用 fp8 量化将 VRAM 减半，但那个旧模型并不适合这样做。
由于无法提供所有可能的分词器，您应该从可用分词器中选择最接近的一个。
1 个赞
你能为我们建议一些适用于这种场景的大型语言模型（LLM）吗？我们可能会在本地部署我们的模型，所以想了解这些模型与Discourse的兼容性。
谢谢。
这取决于您的预算、语言支持目标以及您想要 Discourse AI 的哪些功能。
今天 Qwen 2.5 Instruct 的 32B 或 72B 版本是一个强有力的竞争者。
我们有没有办法使用更小的模型进行总结功能？因为大语言模型（LLM）需要更高的预算，而我们可能暂时只能选择更小的模型……
可以，您可以使用任何您想要的模型。
1 个赞
我们可以更改模型的有效负载以进行摘要或其他功能吗？
特别是，我想更改系统的内容。
{‘role’: ‘system’, ‘content’: ‘您是一个高级摘要机器人，可为提供的文本生成简洁、连贯的摘要。\n\n- 仅包含摘要，不包含任何其他评论。\n- 您可以理解并生成 Discourse 论坛 Markdown；包括链接、斜体、粗体。\n- 保持被摘要文本的原始语言。\n- 摘要目标为 400 字或更少。\n- 每个帖子格式为“<帖子编号> ) ”\n- 使用 描述 格式引用特定的值得注意的帖子\n - 示例：链接到 sam 的第 3 篇和第 6 篇帖子：sam (#3、#6)\n - 示例：链接到 jane 的第 6 篇帖子：同意\n - 示例：链接到 joe 的第 13 篇帖子：joe\n- 格式化用户名时，请使用 @用户名 或 用户名’}
如果可能，如何做到？
1 个赞
目前还不可能，但我们已经开始着手使其成为可能。应该会在未来几周内实现。
2 个赞