MistralをEmbeddingsで実装する方法

サポート
,
1

Mistral AI で Embeddings を設定しようとしていますが、Mistral はモデルを渡す必要があるため、うまくいかないのではないかと疑っています。これが可能かどうか（可能であれば、どのように）、または可能にするために何をするべきかご存知ですか？

2

「プロバイダー」として「OpenAI」を選択した後に表示される「モデル名」フィールドに「mistral-embed」を設定してみてください。

3

ありがとうございます、うまくいきました :+1:

ただ、このユースケースに最適なトークナイザーを見つけるのに苦労しています。Mixtralトークナイザーはここでは選択できません。何か提案はありますか？

4

一部のトークナイザーによる上記の投稿のトークン長：

OpenAI：45
Mixtral：52
Gemini：47
E5：50
bge-large-en：49
bge-m3：50
mpnet：49

Mistral-embed は他のものとあまり変わらないようです。また、8k という非常に大きなコンテキストウィンドウをサポートしているため、いずれかを選択し、Discourse のコンテキストウィンドウを 7k または 7.5k に制限することで、余裕を持たせることができます。

5

mistral-embedは最初のMixtralモデルと同じトークナイザーを使用しているようで、すでにそれを出荷しているため、@Roman_Rizzi さん、そのエンベディングの設定ページでそのトークナイザーを有効にすることについてどう思いますか？

6

はい。すでに存在しているなら、なぜそうしないのか分かりません。この変更により、利用可能なオプションに追加されます。