Mistral für Embeddings verwenden

Beitragen Merkmal
1

Wir sind auf ein weiteres Problem bei der Verwendung von Mistral für Embeddings gestoßen.

  • Gemäß diesem Thema OpenAI als Anbieter und die Mistral-Service-URL als URL verwenden
  • Tokenizer, Sequenzlänge und Distanzfunktion auswählen
  • Modellnamen auf ‘mistral-embed’ setzen

Wenn eine Dimension eingegeben wird, meldet Mistral, dass dies nicht unterstützt wird:

 Trying to contact the model returned this error: {{
   "object":"error",
   "message":{
      "detail":[
         {
            "type":"extra_forbidden",
            "loc":[
               "body",
               "dimensions"
            ],
            "msg":"Extra inputs are not permitted",
            "input":2000
         }
      ]
   },
   "type":"invalid_request_error",
   "param":null,
   "code":null,
   "raw_status_code":422
}

Das liegt daran, dass Mistral dieses Feld als output_dimension bezeichnet und daher nicht vollständig OpenAI-kompatibel ist.

Wenn ich den Parameter dimensions weglasse, funktioniert „Test ausführen“, aber ich kann das Modell nicht speichern, da mitgeteilt wird, dass „dimensions“ ein erforderlicher Parameter ist.

image
image366×1144 33.9 KB

image
image383×623 21.3 KB

Die Möglichkeit, Mistral zu verwenden, ist für die DSGVO-Compliance entscheidend. Daher wäre es gut, wenn der Parameter „dimensions“ weggelassen werden könnte (einfache Lösung) oder wenn Mistral als vollwertiger Anbieter unterstützt würde (bessere Lösung).

4 „Gefällt mir“
3

Bei mir funktioniert der Test mit dieser Konfiguration, die ich gemäß deren Dokumentation erstellt habe:

image
image411×1456 45.3 KB

Das gesagt, empfehle ich die Verwendung eines Modells mit besserer Bewertung, wie zum Beispiel das Qwen-3-Embedding-Modell, sowie die zahlreichen Fine-Tunes davon.

Es ist nicht das einzige DSGVO-konforme Angebot am Markt, auch wenn es vielleicht das erste ist, das den Leuten in den Sinn kommt.

OpenRouter bietet eine Liste: Models | OpenRouter, und Nutzer können ihre Embedding-Modelle auch selbst hosten. Das ist gut machbar und deutlich einfacher als das Selbsthosten von LLMs.

3 „Gefällt mir“