Как использовать модели ИИ с пользовательскими токенизаторами

[Falco]

TL;DR: выберите ближайший токенизатор и установите максимальный контекст на несколько тысяч меньше, чтобы разница не влияла на вас.