임베딩에 Mistral 사용

기여 기능
1

임베딩에 Mistral을 사용하는 과정에서 또 다른 문제를 겪었습니다.

  • 이 주제에 따르면, 제공자로 OpenAI를 사용하고 Mistral 서비스 URL을 URL로 설정해야 합니다.
  • 토크나이저, 시퀀스 길이, 거리 함수를 선택합니다.
  • 모델 이름을 'mistral-embed’로 설정합니다.

차원(Dimension)을 입력하면 Mistral이 해당 기능을 지원하지 않는다고 오류가 발생합니다.

 Trying to contact the model returned this error: {{
   "object":"error",
   "message":{
      "detail":[
         {
            "type":"extra_forbidden",
            "loc":[
               "body",
               "dimensions"
            ],
            "msg":"Extra inputs are not permitted",
            "input":2000
         }
      ]
   },
   "type":"invalid_request_error",
   "param":null,
   "code":null,
   "raw_status_code":422
}

이는 Mistral이 이 매개변수를 output_dimension이라고 부르기 때문에 OpenAI와 완전히 호환되지 않기 때문입니다.

dimensions 매개변수를 생략하면 "Run Test"는 작동하지만, 모델 저장도 불가능해집니다. "dimensions"가 필수 매개변수라는 메시지가 표시되기 때문입니다.

image
image366×1144 33.9 KB

image
image383×623 21.3 KB

GDPR 준수를 위해 Mistral을 사용할 수 있는 것은 매우 중요하므로, dimensions 매개변수를 생략할 수 있도록 하는 것(쉬운 수정) 또는 Mistral을 1급 제공자로 지원하는 것(더 나은 방법)이 좋겠습니다.

5개의 좋아요
3

제가 그들의 문서에 따라 이 구성을 적용했을 때, 제 환경에서는 테스트를 통과합니다.

image
image411×1456 45.3 KB

그럼에도 불구하고, Qwen 3 임베딩 모델과 그로 파생된 수많은 파인튜닝 모델처럼 더 높은 점수를 얻는 모델을 사용하는 것을 권장합니다.

GDPR을 준수하는 유일한 서비스는 아니지만, 사람들의 머릿속에 가장 먼저 떠오르는 서비스일 수는 있겠죠?

OpenRouter에는 목록이 있습니다(Compare AI Models: Pricing, Context & Benchmarks | OpenRouter). 또한 사용자들은 자신의 임베딩 모델을 직접 호스팅할 수도 있으며, 이는 매우 현실적이며 LLM을 직접 호스팅하는 것보다 훨씬 쉽습니다.

4개의 좋아요