Mistral을 임베딩과 함께 구현하는 방법

[Falco]

위 게시물에 대한 토큰 길이는 다음과 같습니다 (토크나이저별):

OpenAI: 45
Mixtral: 52
Gemini: 47
E5: 50
bge-large-en: 49
bge-m3: 50
mpnet: 49

Mistral-embed는 다른 모델들과 큰 차이가 없어 보입니다. 또한 8k라는 매우 큰 컨텍스트 윈도우를 지원하므로, Discourse에서 컨텍스트 윈도우를 7k 또는 7.5k로 제한하여 여유를 두는 것이 안전합니다.