Estou tentando usar o modelo moonshotai/kimi-k2-instruct do Groq. De acordo com a documentação em moonshotai/Kimi-K2-Instruct · Hugging Face, este modelo não é compatível com tokenizadores OpenAI ou Gemini e parece usar seu próprio tokenizador personalizado.
É possível configurar o Discourse para usar um tokenizador personalizado para este modelo? Se sim, como? Não vejo nenhuma opção sob o modelo LLM para usar um tokenizador personalizado.
Este modelo parece ser muito superior ao GPT-5, então estou muito interessado em usá-lo com o BOT do Discourse para ver o quão eficaz ele pode ser. (Supera o GPT-5 em raciocínio; MMLU multilíngue: 89%; HLE multilíngue: 85%)
Obrigado. Então decidi contratar os serviços do ChatGPT, Gemini e Grok para me ajudar a decidir qual tokenizador usar; qual seria a correspondência mais próxima do tokenizador Kimi Instruct TikToken/BPE para gerar a saída mais precisa do modelo.
Devo dizer que os modelos de IA modernos são bastante representativos da sociedade humana. Todos eles raciocinaram sobre qual tokenizador seria o mais adequado e apresentaram suas descobertas, discordaram sobre alguns fatos e cada um tinha suas próprias opiniões sobre qual é o melhor - meio que seguindo a mesma direção, mas não um consenso, muito parecido com uma equipe de projeto humana - hilário!!!
A propósito, o Gemini recomendou o Qwen (pela relação entre os fundadores chineses), o Grok recomendou o Llama3 (com base em sua semelhança com o cl100k_base e eficiência geral), enquanto o ChatGPT disse Qwen ou Llama3 -
