Comment utiliser les modèles d'IA avec des tokenizers personnalisés

Soutien
2

TL;DR choisissez le tokenizer le plus proche et définissez le contexte maximum à quelques milliers de moins pour que la différence ne vous affecte pas.