Hmm, si somos inteligentes con nuestro pipeline podríamos usar cppjieba.
Requeriría que update_index! se encargara de esto:
El recuento de caracteres es probablemente lo más sencillo, dado que leer la palabra bla es mucho más rápido que leer supercalifragilisticexpialidocious.
Me pregunto si puedes hacer alguna PR que cambie para que nos basemos en el recuento de caracteres, ¿entonces podemos dividir el recuento de caracteres por 4, digamos, para inglés y 2 para chino? (a través de alguna configuración)
@lindsey este es un tema interesante para ti.