Ich habe den Quellcode überprüft. Wenn ich mich nicht irre, wird der Tokenizer für zwei Dinge verwendet: Zählen von Tokens für Statistiken und Preisschätzung sowie Kürzen von Beiträgen auf das festgelegte Limit. Es sollte mich also nicht großartig beeinflussen, wenn ein falscher verwendet wird.
1 „Gefällt mir“