Также стоит отметить, что большинство современных код-агентов даже не утруждают себя использованием точного токенизатора, как это делает Discourse. Они просто оценивают примерно 4 символа на токен.
cl100k будет вполне достаточно для подавляющего большинства случаев использования в LLM с немного отличающимися токенизаторами.