一部のトークナイザーによる上記の投稿のトークン長：
OpenAI：45
Mixtral：52
Gemini：47
E5：50
bge-large-en：49
bge-m3：50
mpnet：49
Mistral-embed は他のものとあまり変わらないようです。また、8k という非常に大きなコンテキストウィンドウをサポートしているため、いずれかを選択し、Discourse のコンテキストウィンドウを 7k または 7.5k に制限することで、余裕を持たせることができます。
「いいね！」 1