Ho controllato il codice sorgente. Se non ho commesso errori, il tokenizer viene utilizzato per due cose: contare i token per le statistiche e la stima dei prezzi, e troncare i post al limite impostato. Quindi non dovrebbe influenzarmi molto se ne viene usato uno sbagliato.
1 Mi Piace