شكرًا لك. لذلك قررت الاستعانة بخدمات ChatGPT و Gemini و Grok لمساعدتي في تحديد أداة الترميز (tokenizer) التي يجب استخدامها؛ أيها الأقرب إلى أداة الترميز Kimi Instruct TikToken/BPE لتوليد المخرجات الأكثر دقة من النموذج.
يجب أن أقول إن نماذج الذكاء الاصطناعي الحديثة تمثل المجتمع البشري إلى حد ما. لقد استنتجوا جميعًا أداة الترميز الأنسب وقدموا نتائجهم، واختلفوا في بعض الحقائق وكان لكل منهم آراؤه الخاصة حول الأفضل - يتجهون تقريبًا في نفس الاتجاه ولكن ليس هناك إجماع حقيقي، تمامًا مثل فريق مشروع بشري - مضحك للغاية!!! 
بالمناسبة، أوصى Gemini بـ Qwen (بسبب العلاقة بين المؤسسين الصينيين)، وأوصى Grok بـ Llama3 (بناءً على تشابهه مع cl100k_base والكفاءة العامة)، بينما قال ChatGPT إما Qwen أو Llama3 - 