Come usare i modelli AI con tokenizer personalizzati

Sto cercando di utilizzare il modello groq moonshotai/kimi-k2-instruct. Secondo la documentazione su moonshotai/Kimi-K2-Instruct · Hugging Face, questo modello non è compatibile con i tokenizer OpenAI o Gemini e sembra utilizzare un proprio tokenizer personalizzato.

È possibile configurare Discourse per utilizzare un tokenizer personalizzato per questo modello, se sì, come? Non vedo opzioni sotto il modello LLM per l’utilizzo di un tokenizer personalizzato.

Questo modello sembra essere di gran lunga superiore a GPT-5, quindi sono molto interessato a usarlo con il BOT di Discourse per vedere quanto possa essere efficace. (Supera GPT-5 nel ragionamento; MMLU multilingue: 89%; HLE multilingue: 85%)

TL;DR scegli il tokenizer più vicino e imposta il contesto massimo a qualche migliaio in meno per evitare che la differenza ti influenzi.