Cómo usar modelos de IA con tokenizadores personalizados

[Falco]

TL;DR elige el tokenizador más cercano y establece el contexto máximo en unos miles menos para permitir que la diferencia no te afecte.