Продолжаем обсуждение из темы Ограничение количества тем / сообщений на пользователя / месяц:
Привет 
Спасибо за ваш интерес 
Для контекста: в 2021 году мой первый проект с форумом в Казахстане не удался, так как большинство жителей предпочитает использовать Telegram или WhatsApp. Внедрение плагинов для бота Discourse AI и Chatbot дало моему сайту второй шанс, но теперь он сфокусирован исключительно на общении с искусственным интеллектом (категоризированные шаблоны запросов, персонажи ботов и т. д.).
- Что касается контроля расходов токенов: было бы желательно иметь отдельную панель статистики/настроек для отслеживания и управления расходами токенов в зависимости от персонажа бота (GPT3, 3.5, 4, 4.5t и/или Composer Assistant), с которым происходит взаимодействие. Как администратор, за один месяц пробного использования я уже израсходовал токены на запросы к ChatGPT на сумму более 70 долларов, что для меня является значительной статьей расходов. Сейчас, когда я хочу предоставить доступ к ботам обычным пользователям, я начинаю беспокоиться о своем бюджете, который сложно контролировать.
Представим ситуацию, в которой я предоставляю доступ к ИИ конкретной группе пользователей и говорю: «Используйте». Допустим, один пользователь генерирует столько запросов за день, что исчерпывает мой бюджет. Теперь предположим, что другой пользователь пытается сделать запрос к ИИ и… не получает ответа (ничего). Второй пользователь может не понять, почему бот не ответил, предположить, что сервис работает некорректно, и перейти к другим сервисам.
Для этого было бы уместно иметь отдельную панель во вкладке пользователя, где каждый пользователь (администратор/модератор/обычный пользователь) мог бы отслеживать и контролировать расходы токенов, температуру бота, параметр top (хотя это можно разместить в редакторе постов, см. схему ниже) и другие настройки тонкой настройки.
Например, я хотел бы установить пороговое значение для себя и получать уведомление о пополнении бюджета/токенов при его достижении. Поскольку разные модели ИИ могут отличаться по стоимости потребляемых токенов, я хотел бы иметь возможность ограничивать токены для каждого бота как для себя, так и для других групп пользователей. Каждый пользователь должен иметь возможность самостоятельно управлять выделенным лимитом токенов по своему усмотрению, подобно тому, как это может делать администратор. Также было бы полезно предоставить некоторым группам пользователей (модераторам, TL4) возможность тонкой настройки параметров генерации (температура, TOP 
и т. д.).
Например, вместо того чтобы определять максимальное значение embeddings semantic related topics для всех пользователей, было бы практично устанавливать эти лимиты в зависимости от группы пользователей. Таким образом, группе Staff мог бы быть предоставлен максимум 7, обычным пользователям — 3 и так далее. Каждый пользователь должен иметь возможность устанавливать эти значения в панели пользователя в своем аккаунте. Такой подход демократизировал бы использование ИИ и возможность контролировать лимиты токенов, выделенные каждому пользователю.
Например, ai helper automatic chat thread title также мог бы определяться в зависимости от группы пользователей, предоставляя каждому пользователю выбор включить/отключить эту функцию в панели пользователя. ai helper model также мог бы оставаться на выбор пользователя в зависимости от группы. Если я даю Группе-A возможность выбора между GPT4t и GPT3.5t, каждый из них мог бы сделать выбор независимо.
Также можно было бы добавить возможность для привилегированных групп иметь приоритет в обработке их запросов, отправляемых LLM в начало очереди.
Я попытался проиллюстрировать это более подробно (я быстро сделал иллюстрацию, пожалуйста, не судите строго):
Примечание: На изображении выше я попытался отразить возможные функции, предлагаемые для обычных пользователей. Эти функции могут быть заблокированы, и чтобы это было понятно пользователю, было бы уместно иметь кнопки для активации функций/увеличения лимитов/добавления бота. Эти кнопки выделены синим цветом, и нажатие на любую из них перенаправит пользователя на страницу с предложением присоединиться к привилегированной группе для получения большего функционала при взаимодействии с ИИ.
2) В редакторе я предлагаю:
-
Категоризацию ботов по типам (работа с изображениями, текстом, аудио и т. д.) и дополнительные настройки запросов (см. пункт 1 выше) в интерфейсе Composer.
-
Добавление возможности ограничения количества символов для запроса в зависимости от персонажа бота (как один из рычагов снижения нагрузки на сервер) или группы пользователей. Я обсуждал что-то подобное здесь.
-
Возможность вставки шаблона запроса с использованием существующего плагина Discourse Templates или, возможно, будущей модификации (для использования в личных сообщениях), которая в настоящее время находится в разработке: Experimental Form Templates.
-
Возможность вставки шаблона подсказки в область текстового ввода (по аналогии с шаблонами тем категорий в настройках категорий).
Вот пример иллюстрации:
Примечание: Было бы целесообразно отображать лимит ввода символов в нижней части редактора (как показано) на изображении.
Дополнительные опции (помимо настроек API) в редакторе AI Persona для Discourse, которые затем будут отображаться в редакторе сообщений:
P.S. В эти дни я немного приболел, и некоторые из моих предложений могут показаться немного разрозненными и не совсем понятными. Я новичок в Discourse, не обладаю знаниями в программировании и мне сложно воспринимать информацию на этом англоязычном форуме, где посты часто содержат специфические термины. Поэтому я признаю, что мои идеи (предложения) могут иногда казаться абсурдными и не соответствовать некоторым техническим ограничениям Discourse. Я также понимаю, что у команды может быть собственный план развития плагина, который не обязательно совпадает с моими взглядами. Однако я решил написать этот пост, потому что считаю, что революция ИИ привлечет многих пользователей к таким сервисам, и у Discourse уже есть все технологические возможности для взаимодействия с ИИ, опережая большинство проектов, появляющихся на рынке (тот факт, что Open AI использует Discourse для своего форума, говорит сам за себя). Поэтому лучше сказать, чем молчать. В связи с этим рассмотрите мое предложение как взгляд со стороны, предложение от обычного пользователя (который часто привык к социальным сетям и мессенджерам), желающего ясности и функционала взаимодействия, которых часто не хватает социальным сетям и мессенджерам.
Edit. Я понимаю, что реализация такого функционала может потребовать значительных трудовых и финансовых затрат (что не каждый спонсор может себе позволить). Возможно, стоит вынести такие предложения на голосование и/или организовать краудфандинг.
. Я очень рад, что вы меня услышали 
