Wir sind auf ein weiteres Problem bei der Verwendung von Mistral für Embeddings gestoßen.
- Gemäß diesem Thema OpenAI als Anbieter und die Mistral-Service-URL als URL verwenden
- Tokenizer, Sequenzlänge und Distanzfunktion auswählen
- Modellnamen auf ‘mistral-embed’ setzen
Wenn eine Dimension eingegeben wird, meldet Mistral, dass dies nicht unterstützt wird:
Trying to contact the model returned this error: {{
"object":"error",
"message":{
"detail":[
{
"type":"extra_forbidden",
"loc":[
"body",
"dimensions"
],
"msg":"Extra inputs are not permitted",
"input":2000
}
]
},
"type":"invalid_request_error",
"param":null,
"code":null,
"raw_status_code":422
}
Das liegt daran, dass Mistral dieses Feld als output_dimension bezeichnet und daher nicht vollständig OpenAI-kompatibel ist.
Wenn ich den Parameter dimensions weglasse, funktioniert „Test ausführen“, aber ich kann das Modell nicht speichern, da mitgeteilt wird, dass „dimensions“ ein erforderlicher Parameter ist.
Die Möglichkeit, Mistral zu verwenden, ist für die DSGVO-Compliance entscheidend. Daher wäre es gut, wenn der Parameter „dimensions“ weggelassen werden könnte (einfache Lösung) oder wenn Mistral als vollwertiger Anbieter unterstützt würde (bessere Lösung).