Grazie. Quindi ho deciso di avvalermi dei servizi di ChatGPT, Gemini e Grok per aiutarmi a decidere quale tokenizer utilizzare; quale sarebbe la corrispondenza più vicina al tokenizer Kimi Instruct TikToken/BPE per generare l’output più accurato dal modello.
Devo dire che i moderni modelli di intelligenza artificiale sono piuttosto rappresentativi della società umana. Hanno tutti ragionato su quale tokenizer sarebbe più adatto e hanno presentato le loro scoperte, erano in disaccordo su alcuni fatti e ognuno aveva le proprie idee su quale fosse il migliore - in qualche modo diretti nella stessa direzione ma non proprio un consenso, molto simile a un team di progetto umano - esilarante!!! 
A proposito, Gemini ha raccomandato Qwen (per la relazione tra i fondatori cinesi), Grok ha raccomandato Llama3 (in base alla sua somiglianza con cl100k_base e all’efficienza generale) mentre ChatGPT ha detto o Qwen o Llama3 - 