Estoy intentando usar el modelo groq moonshotai/kimi-k2-instruct. Según la documentación en moonshotai/Kimi-K2-Instruct · Hugging Face, este modelo no es compatible con los tokenizadores de OpenAI o Gemini y parece usar su propio tokenizador personalizado.
¿Es posible configurar Discourse para usar un tokenizador personalizado para este modelo? Si es así, ¿cómo? No veo ninguna opción bajo el modelo LLM para usar un tokenizador personalizado.
Este modelo parece ser muy superior a GPT-5, por lo que estoy muy interesado en usarlo con el BOT de Discourse para ver qué tan efectivo puede ser. (Supera a GPT-5 en razonamiento; MMLU multilingüe: 89%; HLE multilingüe: 85%)
Gracias. Así que decidí contratar los servicios de ChatGPT, Gemini y Grok para que me ayudaran a decidir qué tokenizador usar; cuál sería la coincidencia más cercana al tokenizador Kimi Instruct TikToken/BPE para generar la salida más precisa del modelo.
Debo decir que los modelos de IA modernos son bastante representativos de la sociedad humana. Todos razonaron sobre qué tokenizador sería el más adecuado y presentaron sus hallazgos, discreparon en algunos de los hechos y cada uno tenía sus propias ideas sobre cuál es el mejor, más o menos en la misma dirección pero no realmente un consenso, muy parecido a un equipo de proyecto humano, ¡¡¡hilarante!!!
Por cierto, Gemini recomendó Qwen (por la relación entre los fundadores chinos), Grok recomendó Llama3 (basado en su similitud con cl100k_base y la eficiencia general) mientras que ChatGPT dijo que Qwen o Llama3 -
