# Как использовать модели ИИ с пользовательскими токенизаторами

**URL:** <https://meta.discourse.org/t/how-to-use-ai-models-with-custom-tokenizers/391238>\
**Category:** Product Support\
**Tags:** ai\
**Created:** [13.Декабрь.2025 22:41:28 UTC](https://meta.discourse.org/t/how-to-use-ai-models-with-custom-tokenizers/391238 "2025-12-13T22:41:28Z")\
**Posts on this page:** 1\
**Showing post:** 1

<div class="post-metadata">

**Author:** ![RBoy](https://avatars.discourse-cdn.com/v4/letter/r/2bfe46/32.png) [@RBoy](https://meta.discourse.org/u/RBoy)\
**Post date:** [13.Декабрь.2025 22:41:28 UTC](https://meta.discourse.org/t/how-to-use-ai-models-with-custom-tokenizers/391238/1 "2025-12-13T22:41:28Z")

</div>

Я пытаюсь использовать модель groq moonshotai/kimi-k2-instruct. Согласно документации на [moonshotai/Kimi-K2-Instruct · Hugging Face](https://huggingface.co/moonshotai/Kimi-K2-Instruct), эта модель несовместима с токенизаторами OpenAI или Gemini и, похоже, использует собственный кастомный токенизатор.

Возможно ли настроить Discourse для использования кастомного токенизатора для этой модели? Если да, то как? Я не вижу никаких опций в разделе LLM-моделей для использования кастомного токенизатора.

Эта модель, похоже, значительно превосходит GPT-5, поэтому я очень заинтересован в её использовании с Discourse BOT, чтобы оценить её эффективность. (Превосходит GPT-5 в рассуждениях; многоязычный MMLU: 89%; HLE многоязычный: 85%)

---

_[View the full topic](https://meta.discourse.org/t/how-to-use-ai-models-with-custom-tokenizers/391238)._