Если ваш сайт Discourse размещён у нас, вы могли заметить в настройках ИИ модель CDCK Hosted Model или CDCK/MoM, которая обеспечивает работу таких функций, как создание краткого содержания, поиск с помощью ИИ и других. В этой теме мы объясняем, что это такое и как это работает.
Краткая версия
CDCK/MoM («Mixture of Models», смесь моделей) — это встроенная модель ИИ, которую мы предоставляем клиентам с хостингом бесплатно, используя ежедневный лимит кредитов ИИ вашего сайта. Вместо одной модели это интеллектуальный слой маршрутизации, управляемый компанией CDCK (разработчиком Discourse), который отправляет каждый запрос к одной из нескольких отобранных моделей с открытыми весами.
Зачем нужна смесь моделей?
Разные функции ИИ имеют разные требования. Создание краткого содержания длинной темы, генерация контекста для поисковых эмбеддингов и поддержка персонажа-помощника предъявляют к модели разные требования — длина контекста, скорость, глубина рассуждений и стоимость варьируются.
Вместо того чтобы привязывать каждую функцию к одной модели, CDCK/MoM направляет каждый запрос к модели, наиболее подходящей для задачи. Это позволяет нам:
- Подбирать модель под задачу — быстрые задачи обрабатываются быстрыми моделями, а более сложные — более мощными.
- Следить за новинками — когда появляются лучшие модели, мы можем обновлять пул моделей в фоне. Ваш сайт сразу получает преимущества, без необходимости менять настройки.
- Сохранять бесплатность — эффективная маршрутизация позволяет нам предоставлять щедрую ежедневную квоту кредитов ИИ в рамках хостинг-планов.
Какие модели используются?
В пуле моделей сейчас:
Этот набор будет меняться по мере развития ландшафта открытых моделей — в этом и заключается смысл слоя маршрутизации. Мы будем обновлять эту тему при изменении пула моделей.
Как работают кредиты ИИ?
Каждый хостинг-сайт с включёнными функциями ИИ получает ежедневный лимит кредитов ИИ (измеряется в токенах). Использование CDCK/MoM расходует этот лимит, который обновляется ежедневно. Для большинства сообществ включённый лимит покрывает повседневное использование встроенных функций ИИ.
Подробнее о кредитах ИИ на Unlock All Discourse AI Features with Our Hosted LLM и текущих значениях по планам на Discourse pricing | Discourse - Civilized Discussion
Часто задаваемые вопросы
Могу ли я использовать свою собственную модель ИИ?
Да. CDCK/MoM — это модель по умолчанию, а не обязательное требование. Вы можете настроить свои API-ключи для других провайдеров в настройках ИИ и использовать их вместе с CDCK/MoM или вместо него.
Будут ли результаты отличаться в зависимости от модели, обрабатывающей мой запрос?
Модели в пуле отобраны для обеспечения стабильного качества для соответствующих функций. Маршрутизация выполняется по задачам, поэтому поведение каждой функции будет предсказуемым.
Где выполняется инференс и что происходит с моими данными?
Инференс выполняется на тех же серверах и в тех же дата-центрах, где работает приложение Discourse. При использовании CDCK/MoM ваши данные не покидают нашу инфраструктуру и не передаются сторонним провайдерам ИИ.
Есть вопросы? Задавайте их ниже.