Use Mistral para embeddings

Contribuir Funcionalidade
1

Encontramos outro problema ao usar o Mistral para embeddings.

  • Conforme este tópico, use o OpenAI como provedor e a URL do serviço Mistral como URL
  • Selecione o tokenizador, o comprimento da sequência e a função de distância
  • Defina o nome do modelo como ‘mistral-embed’

Ao inserir uma dimensão, o Mistral reclama que não suporta isso

 Trying to contact the model returned this error: {{
   "object":"error",
   "message":{
      "detail":[
         {
            "type":"extra_forbidden",
            "loc":[
               "body",
               "dimensions"
            ],
            "msg":"Entradas extras não são permitidas",
            "input":2000
         }
      ]
   },
   "type":"invalid_request_error",
   "param":null,
   "code":null,
   "raw_status_code":422
}

Isso ocorre porque o Mistral chama isso de output_dimension, então não é totalmente compatível com o OpenAI.

Quando omito o parâmetro dimensions, o “Executar teste” funciona, mas também impede que eu salve o modelo, informando que “dimensions” é um parâmetro obrigatório.

image
image366×1144 33.9 KB

image
image383×623 21.3 KB

Ser capaz de usar o Mistral é bastante crucial para a conformidade com o GDPR, então seria bom se o parâmetro dimensions pudesse ser omitido (correção fácil) ou se o Mistral pudesse ser um provedor de primeira classe (melhor).