Use Mistral para embeddings

Contribuir Funcionalidade
1

Encontramos outro problema ao usar o Mistral para embeddings.

  • Conforme este tópico, use o OpenAI como provedor e a URL do serviço Mistral como URL
  • Selecione o tokenizer, o comprimento da sequência e a função de distância
  • Defina o nome do modelo como ‘mistral-embed’

Quando uma dimensão é inserida, o Mistral reclama que não suporta isso

 Trying to contact the model returned this error: {{
   "object":"error",
   "message":{
      "detail":[
         {
            "type":"extra_forbidden",
            "loc":[
               "body",
               "dimensions"
            ],
            "msg":"Entradas extras não são permitidas",
            "input":2000
         }
      ]
   },
   "type":"invalid_request_error",
   "param":null,
   "code":null,
   "raw_status_code":422
}

Isso ocorre porque o Mistral chama isso de output_dimension, então não é totalmente compatível com o OpenAI.

Quando eu omito o parâmetro dimensions, o “Executar Teste” funciona, mas também impede que eu salve o modelo, informando que “dimensions” é um parâmetro obrigatório.

image
image366×1144 33.9 KB

image
image383×623 21.3 KB

Ser capaz de usar o Mistral é crucial para a conformidade com o GDPR, então seria bom se o parâmetro de dimensões pudesse ser omitido (correção fácil) ou se o Mistral pudesse ser um provedor de primeira classe (melhor).

4 curtidas
3

Para mim, isso passa no teste com esta configuração, que segui conforme a documentação deles.

image
image411×1456 45.3 KB

Dito isso, recomendo usar um modelo com melhor desempenho, como o modelo de embeddings Qwen 3, e as diversas versões ajustadas a partir dele.

Ele não é o único jogo na cidade que cumpre o GDPR, embora possa ser o primeiro que vem à mente das pessoas?

O OpenRouter tem uma lista Models | OpenRouter, e as pessoas também podem hospedar seus próprios modelos de embeddings; é totalmente viável e muito mais fácil do que hospedar LLMs.

3 curtidas