Como usar modelos de IA com tokenizadores customizados

Suporte
2

TL;DR escolha o tokenizador mais próximo e defina o contexto máximo para alguns milhares a menos para permitir que a diferença não o afete.