Разблокируйте все функции Discourse AI с помощью нашего размещённого LLM

[keegan (Keegan George)]

Мы с радостью сообщаем, что теперь наши клиенты на хостинге могут использовать все функции Discourse AI с помощью нашего собственного размещённого LLM^[1] с открытыми весами, который предварительно настроен и включён бесплатно в рамках вашего хостинг-плана.

Это означает, что все функции AI доступны клиентам тарифов Starter, Pro, Business и Enterprise без необходимости подключения стороннего провайдера LLM.

Включение размещённого LLM

Эта функция уже должна быть доступна и включена на вашем сайте на странице конфигурации LLM:

Администрирование → Плагины → Discourse AI → LLM

По умолчанию в качестве вашего основного LLM будет выбран «CDCK Hosted Small LLM», и он также будет доступен для выбора в любом персонаже на вашем сайте.

Использование и лимиты

Discourse отслеживает использование размещённого LLM с помощью системы кредитов. Каждый токен запроса или ответа потребляет 1 кредит. Кредиты пропорциональны вашему тарифному плану и сбрасываются ежедневно.

✱ Некоторые функции, такие как обнаружение спама с помощью AI, не учитываются в ваших кредитах

Лимиты кредитов для каждого тарифа указаны на странице тарифов на нашем сайте. После достижения вашего дневного лимита все функции AI, зависящие от LLM, будут приостановлены до следующего дня, когда кредиты будут сброшены.

Если у вас быстро заканчиваются кредиты, рассмотрите возможность использования системы квот LLM для установки ограничений на пользователя или группу. Другой вариант — переход на более высокий тариф, если вам требуется дополнительная мощность.

Вы можете в любое время проверить использование AI на вашем сайте на странице использования AI в панели администратора.

Более подробную информацию о том, что делать при исчерпании кредитов, см. по ссылке:

Running Out of AI credits? Available Options and Next Steps

If you’re using our CDCK Hosted LLM and you’ve run out of AI credits, don’t worry, you still have a few options to keep your AI features running smoothly. Why this happens Each Discourse site comes pre-configured with our CDCK Hosted LLM model that is alloted a daily credit balance based on your hosting plan. Once those credits are consumed, any AI features relying on the hosted LLM will pause until credits reset the following day. Options Upgrade your plan for more credits Upgr…

---

1. Large Language Model ↩︎

[mcmcclur (Mark McClure)]

Доступен ли хостинг CDCK Small LLM через API для самостоятельного развёртывания экземпляров Discourse? Если да, то, полагаю, за это взимается плата.

[Falco]

@mcmcclur

Доступен ли размещённый CDCK Small LLM через API для использования в самохостинговых экземплярах Discourse?

Нет, он не доступен, и мы не планируем делать его таковым.

Для самохостинговых экземпляров отличным альтернативным вариантом станут такие решения, как бесплатный уровень Gemini или OpenRouter.

[westes (Will)]

Значит, функция «AI Summarize» доступна только для основного сообщения темы? Было бы полезно иметь её и для длинных и сложных ответов в ветке.

В тарифе Starter доступно 15 000 «AI-кредитов» в день. Что равен один кредит? Это один токен в ответе? Было бы удобно, если бы вы указывали внизу каждого AI-резюме, сколько кредитов было использовано.

[Falco]

@westes

Значит, функция AI Summarize доступна только для основного сообщения темы? Было бы полезно иметь её и для длинных и сложных ответов внутри обсуждения.

Функция Summarize уже суммирует всю тему целиком.

@westes

Тариф Starter включает 15 тысяч ежедневных «AI Credit». Что равен один кредит? Это один токен в ответе?

1 «AI Credit» равен одному токену, будь то в запросе или в ответе.

Например, суммаризация этой темы до моего ответа потребовала 1550 токенов.

@westes

Было бы полезно, если бы вы указывали в нижней части каждой сводки AI, сколько кредитов было использовано.

У нас есть страница администратора с использованием, где содержатся очень подробные отчёты по расходу токенов. Рекомендую воспользоваться ею.

[westes (Will)]

Резюмирование всей темы полезно, но это не тот случай, о котором я говорил. В теме с 150 ответами я читаю один конкретный, длинный и сложный ответ. Я хочу, чтобы ИИ сделал краткое содержание именно этого ответа. У нас уже есть такая функция в Twitter, и она фантастически полезна.

Если одно краткое содержание от ИИ стоит 1500 кредитов ИИ, а у нас есть только 15 тысяч кредитов в день, то это значит, что если всего 10 человек запросят краткое содержание от ИИ, мы исчерпаем все ресурсы. Это делает функцию не очень полезной.

[Falco]

@westes

Резюмирование всей темы полезно, но я обсуждал не это. В теме с 150 ответами я читаю один конкретный, длинный и сложный ответ. Я хочу, чтобы ИИ резюмировал именно этот ответ. У нас уже есть такая функция в Twitter, и она фантастическая и полезная.

Вы можете выделить любой текст в любом сообщении, нажать «Спросить ИИ» и затем использовать пользовательский запрос, чтобы попросить о резюмировании.

@westes

Если одно резюме ИИ стоит 1500 кредитов ИИ, а мы получаем только 15 тысяч кредитов в день, это значит, что всего 10 человек, запросивших резюме ИИ, исчерпают весь лимит. Это делает функцию не очень полезной.

Да, это бесплатный лимит кредитов на нашем тарифном плане стоимостью менее 1 доллара в день.

Мы предоставляем больше кредитов на более высоких тарифах и позволяем всем планам использовать сторонние большие языковые модели (LLM), если требуется поддержка большего объёма использования.

[westes (Will)]

Так что если я перейду с 20 долларов в месяц на 100 долларов в месяц, то теперь получаю 30 000 кредитов ИИ в день, и всего 20 пользователей, использующих функцию, исчерпывают мои кредиты? Мне кажется, это нежизнеспособная экономическая модель для функции, которая стала товаром массового спроса на моих дискуссионных сайтах.

[keegan (Keegan George)]

Привет @westes,

Понимаю вас. Я вижу, почему лимиты кредитов могут сначала казаться ограничивающими.

Вот несколько моментов, которые помогут взглянуть на ситуацию под другим углом:

Кредиты пополняются ежедневно, поэтому каждые 24 часа вы получаете новую порцию: 15 тыс. (тариф Starter) или 30 тыс. (тариф Pro). На практике маловероятно, что 20 разных пользователей одновременно запросят сводки в один день, особенно учитывая, что у нас работает кэширование. Как только тема будет сгенерирована в виде сводки, последующие пользователи увидят кэшированную версию без списания дополнительных кредитов. Но если вы действительно наблюдаете такой уровень ежедневного использования функции сводок, это на самом деле отличный знак! Это означает, что ваш форум очень активен, а пользователи вовлечены.

Если использование действительно такое высокое, возможно, вам пора перейти на более высокий тариф. Тариф Business (100 тыс. кредитов) с запасом покроет потребности очень активного сообщества. Высокое использование функций ИИ обычно сигнализирует о том, что вы перерастаете свой текущий план и в других аспектах.

Прежде чем рассматривать переход на более высокий тариф, вы также можете использовать квоты на пользователя. Система квот LLM позволяет более устойчиво распределять использование среди ваших пользователей, чтобы несколько активных пользователей не исчерпали всё в начале дня.

Если это всё ещё не поможет, сторонние LLM могут лучше подойти для вашего случая. Вы можете подключить собственного провайдера LLM (OpenAI, Anthropic, Gemini и др.). Вы будете оплачивать его отдельно, но это даст вам больше контроля и может оказаться более экономичным при больших объёмах использования.

Мы стремимся предложить решение «из коробки», которое хорошо работает для большинства клиентов, без необходимости возиться с API-ключами или отдельной биллинговой системой. Но вы не ограничены использованием только его. Это должно быть полезно, и если это кажется слишком ограничивающим, переход на стороннего провайдера — абсолютно нормальный вариант, и мы полностью поддерживаем такое решение.

[Falco]

С момента запуска этого сервиса мы несколько раз увеличивали пропускную способность.

План	Ранее	Сейчас	Увеличение
Free	-	100K	-
Starter	15K	200K	13.3x
Pro	30K	500K	16.7x
Business	100K	1M	10x
Enterprise	300K	3M	10x

Предоставляемая нами модель также была обновлена до текущего передового открытого модели с открытыми весами. Максимальное количество токенов в одном запросе удвоилось, пропускная способность токенов в секунду также удвоилась, а время до получения первого токена значительно сократилось.

Новые лимиты уже действуют на странице с ценами и на странице AI LLMs наших клиентов.