Utilisez Mistral pour les embeddings

Nous avons rencontré un autre problème lors de l’utilisation de Mistral pour les embeddings.

  • Selon ce sujet, utilisez OpenAI comme fournisseur et l’URL du service Mistral comme URL.
  • Sélectionnez le tokenizer, la longueur de séquence et la fonction de distance.
  • Définissez le nom du modèle sur ‘mistral-embed’.

Lorsqu’une dimension est saisie, Mistral signale une erreur indiquant qu’il ne prend pas en charge cette option.

 Trying to contact the model returned this error: {{
   "object":"error",
   "message":{
      "detail":[
         {
            "type":"extra_forbidden",
            "loc":[
               "body",
               "dimensions"
            ],
            "msg":"Extra inputs are not permitted",
            "input":2000
         }
      ]
   },
   "type":"invalid_request_error",
   "param":null,
   "code":null,
   "raw_status_code":422
}

Cela s’explique par le fait que Mistral nomme ce paramètre output_dimension, ce qui signifie qu’il n’est pas entièrement compatible avec OpenAI.

Lorsque j’omets le paramètre dimensions, le bouton « Exécuter le test » fonctionne, mais cela m’empêche également d’enregistrer le modèle, avec le message indiquant que « dimensions » est un paramètre obligatoire.

La possibilité d’utiliser Mistral est cruciale pour la conformité au RGPD. Il serait donc souhaitable que le paramètre dimensions puisse être omis (solution simple) ou que Mistral devienne un fournisseur de premier plan (solution meilleure).