Gracias. Así que decidí contratar los servicios de ChatGPT, Gemini y Grok para que me ayudaran a decidir qué tokenizador usar; cuál sería la coincidencia más cercana al tokenizador Kimi Instruct TikToken/BPE para generar la salida más precisa del modelo.
Debo decir que los modelos de IA modernos son bastante representativos de la sociedad humana. Todos razonaron sobre qué tokenizador sería el más adecuado y presentaron sus hallazgos, discreparon en algunos de los hechos y cada uno tenía sus propias ideas sobre cuál es el mejor, más o menos en la misma dirección pero no realmente un consenso, muy parecido a un equipo de proyecto humano, ¡¡¡hilarante!!! 
Por cierto, Gemini recomendó Qwen (por la relación entre los fundadores chinos), Grok recomendó Llama3 (basado en su similitud con cl100k_base y la eficiencia general) mientras que ChatGPT dijo que Qwen o Llama3 - 