groq の moonshotai/kimi-k2-instruct モデルを使用しようとしています。moonshotai/Kimi-K2-Instruct · Hugging Face のドキュメントによると、このモデルは OpenAI や Gemini のトークナイザーと互換性がなく、独自のカスタムトークナイザーを使用しているようです。
Discourse でこのモデルにカスタムトークナイザーを使用するように設定することは可能ですか？もし可能なら、その方法は？LLM モデルの設定でカスタムトークナイザーを使用するオプションが見当たりません。
このモデルは GPT-5 よりもはるかに優れているように見えるため、Discourse BOT でこれを使用して、その有効性を確認することに非常に興味があります（推論で GPT-5 を上回り、多言語 MMLU: 89%、HLE 多言語: 85%）。
TL;DR: 最も近いトークナイザーを選択し、最大コンテキストを数千ほど少なく設定して、その差が影響しないようにします。
ありがとうございます。それで、Kimi Instruct TikToken/BPEトークナイザーに最も近いトークナイザーを選び、モデルから最も正確な出力を生成するために、ChatGPT、Gemini、Grokのサービスを利用することにしました。
正直なところ、現代のAIモデルは人間社会をかなりよく表していると思います。彼らは皆、どのトークナイザーが最適かを推論し、その結果を発表しましたが、いくつかの事実については意見が異なり、それぞれがどれが最高かについて独自の考えを持っていました。人間プロジェクトチームと非常によく似ていて、同じ方向に向かっているものの、コンセンサスには至っていない、実に面白いです!!! 
ちなみに、Geminiは（中国の創設者との関係から）Qwenを、Grokは（cl100k_baseとの類似性と全体的な効率性に基づいて）Llama3を推奨し、ChatGPTはQwenまたはLlama3のどちらかだと言っていました - 