TL;DR choisissez le tokenizer le plus proche et définissez le contexte maximum à quelques milliers de moins pour que la différence ne vous affecte pas.
TL;DR choisissez le tokenizer le plus proche et définissez le contexte maximum à quelques milliers de moins pour que la différence ne vous affecte pas.