Wir haben ein weiteres Problem bei der Verwendung von Mistral für Embeddings festgestellt.
- Gemäß diesem Thema OpenAI als Anbieter und die Mistral-Service-URL als URL verwenden
- Tokenizer, Sequenzlänge und Distanzfunktion auswählen
- Modellnamen auf ‘mistral-embed’ setzen
Wenn eine Dimension eingegeben wird, meldet Mistral, dass diese nicht unterstützt wird:
Trying to contact the model returned this error: {{
"object":"error",
"message":{
"detail":[
{
"type":"extra_forbidden",
"loc":[
"body",
"dimensions"
],
"msg":"Extra inputs are not permitted",
"input":2000
}
]
},
"type":"invalid_request_error",
"param":null,
"code":null,
"raw_status_code":422
}
Das liegt daran, dass Mistral dies als output_dimension bezeichnet und daher nicht vollständig OpenAI-kompatibel ist.
Wenn ich den Parameter dimensions weglasse, funktioniert „Test ausführen“, aber es verhindert auch das Speichern des Modells, da mitgeteilt wird, dass „dimensions“ ein erforderlicher Parameter ist.
Die Möglichkeit, Mistral zu nutzen, ist für die DSGVO-Compliance entscheidend. Es wäre daher gut, wenn der Parameter „dimensions“ weggelassen werden könnte (einfache Lösung) oder wenn Mistral als erstklassiger Anbieter unterstützt würde (bessere Lösung).