Если ваш форум Discourse размещён у нас, вы могли заметить в настройках ИИ LLM с названием CDCK Hosted Model или CDCK/MoM, который обеспечивает работу таких функций, как суммаризация, ИИ-поиск и другие. В этой теме объясняется, что это такое и как это работает.
Коротко
CDCK/MoM («Mixture of Models» — «смесь моделей») — это встроенная LLM, которую мы предоставляем клиентам на хостинге без дополнительной оплаты, за счёт дневного лимита AI-кредитов вашего форума. Вместо одной модели это интеллектуальный слой маршрутизации, управляемый CDCK (компанией-разработчиком Discourse), который направляет каждый запрос одной из нескольких тщательно подобранных моделей с открытыми весами.
Зачем смесь моделей?
Разные функции ИИ требуют разного. Суммаризация длинной темы, генерация контекстных эмбеддингов для поиска и работа персонажа-помощника — каждая из этих задач предъявляет к модели свои требования: длина контекста, скорость, глубина рассуждений и стоимость сильно различаются.
Вместо того чтобы привязывать все функции к одной модели, CDCK/MoM направляет каждый запрос к модели, лучше всего подходящей для конкретной задачи. Это позволяет нам:
- Подбирать модель под задачу — быстрые задачи выполняются на быстрых моделях, более сложные — на более мощных.
- Идти в ногу со временем — по мере появления более качественных моделей мы можем обновлять пул незаметно для вас. Ваш форум получает улучшения сразу, без изменения настроек с вашей стороны.
- Сохранять бесплатность — эффективная маршрутизация позволяет включать щедрый дневной лимит AI-кредитов в тарифы хостинга.
Какие модели стоят за этим?
На данный момент пул включает:
Этот состав будет обновляться по мере развития экосистемы открытых моделей — в этом и есть смысл слоя маршрутизации. Мы будем обновлять эту тему при изменении пула.
Как работают AI-кредиты?
Каждый форум на хостинге с включёнными функциями ИИ получает дневной лимит AI-кредитов (измеряется в токенах). Использование CDCK/MoM расходует эти кредиты, и лимит сбрасывается ежедневно. Для большинства сообществ включённого лимита с запасом хватает для повседневного использования встроенных функций ИИ.
Подробнее об AI-кредитах: Unlock All Discourse AI Features with Our Hosted LLM, актуальные значения по тарифам: Discourse pricing | Discourse - Civilized Discussion
Частые вопросы
Могу ли я по-прежнему использовать свою собственную LLM?
Да. CDCK/MoM — это вариант по умолчанию, а не обязательное условие. Вы можете настроить свои API-ключи для других провайдеров в настройках ИИ и использовать их наряду с CDCK/MoM или вместо него.
Будут ли результаты различаться в зависимости от того, какая модель обрабатывает мой запрос?
Модели в пуле подобраны так, чтобы обеспечивать стабильное качество для выполняемых функций. Маршрутизация настроена по задачам, поэтому каждая конкретная функция работает предсказуемо.
Где выполняется инференс и что происходит с моими данными?
Инференс выполняется на тех же серверах и в тех же дата-центрах, где работает само приложение Discourse. При использовании CDCK/MoM ваши данные не покидают нашу инфраструктуру и не передаются сторонним AI-провайдерам.
Есть вопросы? Задавайте их ниже.