J’ai vérifié le code source. Si je ne me suis pas trompé, le tokenizer est utilisé pour deux choses : compter les tokens pour les statistiques et l’estimation des prix, et tronquer les publications à la limite définie. Donc, cela ne devrait pas beaucoup m’affecter si un mauvais est utilisé.
1 « J'aime »