使用 Mistral 进行嵌入

贡献 功能
1

我们在使用 Mistral 进行嵌入时遇到了另一个问题。

  • 根据此主题，请使用 OpenAI 作为提供商，并将 Mistral 服务 URL 设为 URL。
  • 选择分词器、序列长度和距离函数。
  • 将模型名称设置为 ‘mistral-embed’。

当输入维度时，Mistral 会报错，提示不支持该参数：

 Trying to contact the model returned this error: {{
   "object":"error",
   "message":{
      "detail":[
         {
            "type":"extra_forbidden",
            "loc":[
               "body",
               "dimensions"
            ],
            "msg":"Extra inputs are not permitted",
            "input":2000
         }
      ]
   },
   "type":"invalid_request_error",
   "param":null,
   "code":null,
   "raw_status_code":422
}

这是因为 Mistral 将该参数称为 output_dimension，因此它并非完全兼容 OpenAI。

当我省略 dimensions 参数时，“运行测试”可以正常工作，但这同时也阻止了我保存模型，提示“dimensions”是必需参数。

image
image366×1144 33.9 KB

image
image383×623 21.3 KB

能够使用 Mistral 对于符合 GDPR 要求至关重要，因此最好能允许省略 dimensions 参数（这是一个简单的修复），或者让 Mistral 成为一个一级供应商（更好的方案）。