Mistral API 支持

功能
1

我一直在通过 API 试用新的 Mistral 模型（mistral-small 和 mistral-medium），并且对其表现很满意。Mistral-small（即 Mixtral 8x7B MOE）的表现似乎优于 GPT3.5，并且可以成为某些用例的 GPT4 的可行替代品（即使不如 GPT4）。最重要的是，它的成本远低于 GPT4。非常希望 Discourse AI 插件能够支持 Mistral API。

我尝试将 Mistral API URL 和 token 放入 openAI GPT4 turbo 字段中，但不出所料，这并没有奏效，因为它请求的是错误的模型。查看 openAI、Anthropic 和 Mistral 的 API 文档，它们都使用相同的格式。我想这是故意的——新的供应商遵循 openAI 的格式，以便它们可以作为直接替代品使用。

因此，此功能请求的第二部分是考虑重构 AI 设置，使其更加通用，以适应采用类似 openAI 接口的任何供应商。在设置中，只需提供 4 个内容：聊天端点、模型列表端点、嵌入端点和 API 密钥。Discourse 然后查询 /models 端点来获取模型名称，或者您可以手动输入模型名称。

2

@Falco 今天通过 vLLM 部署了 Mixtral。

@Roman 正在重构我们的内部实现，以便机器人可以依赖我们新的“通用 LLM”接口。

我同意在 LLM 方面重新考虑所有 AI 设置，我们需要摆脱在站点设置中可以实现的方式。

一个列出您可访问的所有 LLM 的新界面，解释端点/参数/配额等，是我们非常需要开始考虑的事情。目前的方式太有限了，而且鉴于市面上有无数模型，我们需要一种新的范式。

3 个赞