Cómo usar modelos de IA con tokenizadores personalizados

Estoy intentando usar el modelo groq moonshotai/kimi-k2-instruct. Según la documentación en moonshotai/Kimi-K2-Instruct · Hugging Face, este modelo no es compatible con los tokenizadores de OpenAI o Gemini y parece usar su propio tokenizador personalizado.

¿Es posible configurar Discourse para usar un tokenizador personalizado para este modelo? Si es así, ¿cómo? No veo ninguna opción bajo el modelo LLM para usar un tokenizador personalizado.

Este modelo parece ser muy superior a GPT-5, por lo que estoy muy interesado en usarlo con el BOT de Discourse para ver qué tan efectivo puede ser. (Supera a GPT-5 en razonamiento; MMLU multilingüe: 89%; HLE multilingüe: 85%)

TL;DR elige el tokenizador más cercano y establece el contexto máximo en unos miles menos para permitir que la diferencia no te afecte.