Usa Mistral para embeddings

Contribuir Característica
1

Hemos encontrado otro problema al usar Mistral para embeddings.

  • Según este tema, utiliza OpenAI como proveedor y la URL del servicio de Mistral como URL.
  • Selecciona el tokenizador, la longitud de la secuencia y la función de distancia.
  • Establece el nombre del modelo en ‘mistral-embed’.

Cuando se ingresa una dimensión, Mistral muestra un error indicando que no lo soporta.

 Trying to contact the model returned this error: {{
   "object":"error",
   "message":{
      "detail":[
         {
            "type":"extra_forbidden",
            "loc":[
               "body",
               "dimensions"
            ],
            "msg":"Extra inputs are not permitted",
            "input":2000
         }
      ]
   },
   "type":"invalid_request_error",
   "param":null,
   "code":null,
   "raw_status_code":422
}

Esto se debe a que Mistral llama a esto output_dimension, por lo que no es completamente compatible con OpenAI.

Cuando omito el parámetro dimensions, “Ejecutar prueba” funciona, pero también me impide guardar el modelo, indicándome que “dimensions” es un parámetro obligatorio.

image
image366×1144 33.9 KB

image
image383×623 21.3 KB

Ser capaz de usar Mistral es crucial para el cumplimiento del GDPR, por lo que sería bueno que el parámetro de dimensiones pudiera omitirse (solución sencilla) o que Mistral pudiera ser un proveedor de primera clase (mejor).