Sto cercando di utilizzare il modello groq moonshotai/kimi-k2-instruct. Secondo la documentazione su moonshotai/Kimi-K2-Instruct · Hugging Face, questo modello non è compatibile con i tokenizer OpenAI o Gemini e sembra utilizzare un proprio tokenizer personalizzato.
È possibile configurare Discourse per utilizzare un tokenizer personalizzato per questo modello, se sì, come? Non vedo opzioni sotto il modello LLM per l’utilizzo di un tokenizer personalizzato.
Questo modello sembra essere di gran lunga superiore a GPT-5, quindi sono molto interessato a usarlo con il BOT di Discourse per vedere quanto possa essere efficace. (Supera GPT-5 nel ragionamento; MMLU multilingue: 89%; HLE multilingue: 85%)