Mistral AI로 임베딩(Embeddings)을 설정하는 데 어려움을 겪고 있습니다. Mistral이 모델을 전달하도록 요구하기 때문일 것 같습니다. 이것이 가능한지(가능하다면 어떻게 가능한지) 또는 가능하도록 하기 위해 무엇을 해야 하는지 아시나요?
"Provider"를 OpenAI로 선택한 후 나타나는 “Model name” 필드에 mistral-embed를 입력해 보세요.
감사합니다, 잘 작동합니다 
다만 이 용도에 가장 적합한 토크나이저가 무엇인지 알아내는 데 어려움을 겪고 있습니다. Mixtral 토크나이저는 여기서 선택할 수 없습니다. 추천해 주실 만한 것이 있을까요?
위 게시물에 대한 토큰 길이는 다음과 같습니다 (토크나이저별):
OpenAI: 45
Mixtral: 52
Gemini: 47
E5: 50
bge-large-en: 49
bge-m3: 50
mpnet: 49
Mistral-embed는 다른 모델들과 큰 차이가 없어 보입니다. 또한 8k라는 매우 큰 컨텍스트 윈도우를 지원하므로, Discourse에서 컨텍스트 윈도우를 7k 또는 7.5k로 제한하여 여유를 두는 것이 안전합니다.
mistral-embed가 첫 번째 Mixtral 모델과 동일한 토크나이저를 사용하는 것으로 보이는데, 우리는 이미 해당 토크나이저를 제공하고 있으니, 임베딩 설정 페이지에서 이 토크나이저를 활성화하는 건 어떻게 생각하세요 @Roman ?
네. 이미 있다면 반대할 이유가 없네요. 이 변경 사항은 해당 항목을 사용 가능한 옵션에 추가합니다: