根据一些分词器,您上面的帖子长度如下:
OpenAI:45
Mixtral:52
Gemini:47
E5:50
bge-large-en:49
bge-m3:50
mpnet:49
看起来 Mistral-embed 与其他分词器差别不大。而且由于它支持 8k 的非常大的上下文窗口,您可以放心地选择任何一个,并通过将 Discourse 中的上下文窗口限制为 7k 或 7.5k 来留出一些余地。
根据一些分词器,您上面的帖子长度如下:
OpenAI:45
Mixtral:52
Gemini:47
E5:50
bge-large-en:49
bge-m3:50
mpnet:49
看起来 Mistral-embed 与其他分词器差别不大。而且由于它支持 8k 的非常大的上下文窗口,您可以放心地选择任何一个,并通过将 Discourse 中的上下文窗口限制为 7k 或 7.5k 来留出一些余地。