Если ваш сайт на Discourse размещён у нас, вы могли заметить в настройках ИИ модель, обозначенную как CDCK Hosted Model или CDCK/MoM. Именно она обеспечивает работу таких функций, как суммаризация, поиск с ИИ и других. В этой теме объясняется, что это такое и как это работает.
Кратко
CDCK/MoM (“Mixture of Models”, то есть “смесь моделей”) — это встроенная LLM, которую мы предоставляем клиентам с хостингом бесплатно. Она работает за счёт ежедневного лимита AI credits вашего сайта. Вместо одной конкретной модели это интеллектуальный слой маршрутизации, управляемый CDCK (компанией, стоящей за Discourse), который направляет каждый запрос к одной из нескольких тщательно отобранных моделей с открытыми весами.
Зачем нужна смесь моделей?
Разные функции ИИ имеют разные потребности. Суммаризация длинных тем, генерация контекста для поисковых эмбеддингов и работа персонажа-помощника предъявляют к модели различные требования — длина контекста, скорость, глубина рассуждений и стоимость везде разные.
Вместо того чтобы привязывать каждую функцию к одной конкретной модели, CDCK/MoM направляет каждый запрос к модели, лучше всего подходящей для конкретной задачи. Это позволяет нам:
- Подбирать модель под задачу — быстрые задачи обрабатываются быстрыми моделями, а более сложные — более мощными.
- Оставаться актуальными — по мере появления более качественных моделей мы можем обновлять пул моделей в фоновом режиме. Ваш сайт сразу получает преимущества, и вам не нужно ничего настраивать.
- Держать это бесплатным — эффективная маршрутизация позволяет включать щедрые ежедневные лимиты AI credits в планы хостинга.
Какие модели стоят за этим?
В настоящее время пул моделей включает:
Этот состав будет меняться со временем по мере улучшения ландшафта открытых моделей — в этом и заключается суть слоя маршрутизации. Мы будем обновлять эту тему по мере изменения пула моделей.
Как работают AI credits?
Каждый сайт с хостингом, на котором включены функции ИИ, получает ежедневный лимит AI credits (измеряется в токенах). Использование CDCK/MoM расходует этот лимит, который сбрасывается каждый день. Для большинства сообществ включённого лимита с запасом хватает для повседневного использования встроенных функций ИИ.
Подробнее об AI Credits можно узнать здесь: Unlock All Discourse AI Features with Our Hosted LLM, а актуальные значения лимитов для каждого плана — здесь: Discourse pricing | Discourse - Civilized Discussion
Частые вопросы
Могу ли я использовать свою собственную LLM?
Да. CDCK/MoM — это вариант по умолчанию, а не обязательное требование. Вы можете настроить собственные API-ключи для других провайдеров в настройках ИИ и использовать их вместе с CDCK/MoM или вместо него.
Будут ли результаты отличаться в зависимости от того, какая модель обрабатывает мой запрос?
Модели в пуле отобраны так, чтобы обеспечивать стабильное качество для тех функций, которые они обслуживают. Маршрутизация выполняется по задачам, поэтому конкретная функция будет работать предсказуемо.
Где выполняется инференс и что происходит с моими данными?
Инференс выполняется на тех же серверах и в тех же дата-центрах, где мы размещаем само приложение Discourse. При использовании CDCK/MoM ваши данные никогда не покидают нашу инфраструктуру и не передаются каким-либо сторонним провайдерам ИИ.
Есть вопросы? Задавайте их в комментариях ниже.