Merci. J’ai donc décidé de faire appel aux services de ChatGPT, Gemini et Grok pour m’aider à décider quel tokenizer utiliser ; lequel serait le plus proche du tokenizer Kimi Instruct TikToken/BPE pour générer le résultat le plus précis à partir du modèle.
Je dois dire que les modèles d’IA modernes sont assez représentatifs de la société humaine. Ils ont tous raisonné sur le tokenizer le mieux adapté et ont présenté leurs conclusions, ils n’étaient pas d’accord sur certains faits et chacun avait ses propres idées sur celui qui était le meilleur - allant dans la même direction mais sans vraiment de consensus, un peu comme une équipe de projet humaine - hilarant !!! 
D’ailleurs, Gemini a recommandé Qwen (en raison de la relation entre les fondateurs chinois), Grok a recommandé Llama3 (basé sur sa similarité avec cl100k_base et son efficacité globale) tandis que ChatGPT a dit soit Qwen soit Llama3 - 