Usa Mistral per gli embedding

Contribuisci Funzionalità
1

Abbiamo riscontrato un altro problema nell’utilizzo di Mistral per gli embedding.

  • Come indicato in questo argomento, utilizzare OpenAI come provider e l’URL del servizio Mistral come URL
  • Selezionare il tokenizzatore, la lunghezza della sequenza e la funzione di distanza
  • Impostare il nome del modello su ‘mistral-embed’

Quando viene inserita una dimensione, Mistral segnala un errore indicando che non supporta tale parametro

 Trying to contact the model returned this error: {{
   "object":"error",
   "message":{
      "detail":[
         {
            "type":"extra_forbidden",
            "loc":[
               "body",
               "dimensions"
            ],
            "msg":"Extra inputs are not permitted",
            "input":2000
         }
      ]
   },
   "type":"invalid_request_error",
   "param":null,
   "code":null,
   "raw_status_code":422
}

Questo accade perché Mistral chiama questo parametro output_dimension, quindi non è completamente compatibile con OpenAI.

Quando ometto il parametro dimensions, il pulsante “Run Test” funziona, ma ciò impedisce anche di salvare il modello, indicando che “dimensions” è un parametro obbligatorio.

image
image366×1144 33.9 KB

image
image383×623 21.3 KB

Potere utilizzare Mistral è fondamentale per la conformità al GDPR, quindi sarebbe utile che il parametro dimensions potesse essere omesso (soluzione semplice) o che Mistral potesse diventare un provider di primo livello (soluzione migliore).