Я провёл некоторые расчёты и пришёл к выводу, что без возможности ограничивать количество входных и выходных токенов пользователя в день или в месяц можно быстро столкнуться с серьёзными проблемами. В настоящее время единственный способ ограничить взаимодействие пользователя с ботом на базе ИИ — разрешить использование ботов только в личных сообщениях (отключив чат для каждого персонажа) и установить лимит на количество разрешённых ежедневных личных сообщений, но, разумеется, это нереалистично. Вот пример разбивки затрат в «наихудшем сценарии», который обосновывает необходимость этой функции, используя подход, применяемый OpenAI для участников ChatGPT:
GPT-4o mini с контекстом 32 тыс. токенов (П.С. длина контекста задаётся настройкой «Количество токенов для промпта» на странице настроек LLM)
Текущая стоимость: $0,15 за 1 млн входных токенов / $0,60 за 1 млн выходных токенов
Предположим, что пользователь вводит 32 тыс. токенов и получает 16 тыс. выходных токенов каждый день в течение 30 дней (один биллинг-цикл типичной подписки):
Стоимость входных токенов за месяц = 960 000 токенов ≈ $0,14
Стоимость выходных токенов за месяц = 480 000 токенов ≈ $0,28
Всё не так уж плохо, верно? Менее полдоллара. Однако это довольно низкий уровень использования, особенно учитывая, что GPT-4o mini может генерировать до 16,4 тыс. токенов за один запрос (хотя, конечно, можно оптимизировать промпт и настройки LLM, чтобы предотвратить это). Вы можете начать умножать эти затраты в зависимости от того, насколько активно, по вашему мнению, пользователи будут использовать бота на базе ИИ. Самое неприятное в том, что это невероятно дешёвая модель; затраты экспоненциально выше для Claude 3.5 Sonnet ($3 за 1 млн входных токенов / $15 за 1 млн выходных токенов) и GPT-4o ($5 за 1 млн входных токенов / $15 за 1 млн выходных токенов) — и даже не будем говорить о GPT-4 Turbo, ха-ха. Вот та же разбивка для Claude 3.5 Sonnet:
Claude 3.5 Sonnet с контекстом 32 тыс. токенов
Стоимость входных токенов за месяц ≈ $2,88
Стоимость выходных токенов за месяц ≈ $7,20
Итого ≈ $10,08
Но, повторюсь, это низкий уровень использования. Становится очевидно, насколько дорогим может стать неограниченное использование LLM в ботах на базе ИИ. Если умножить это на два, то для получения прибыли чуть менее $5 придётся установить цену подписки на уровне $25 
Вот что я официально предлагаю:
- Настройка, позволяющая установить определённое количество входных и выходных токенов для конкретной группы пользователей в день или в месяц для ботов на базе ИИ.
- Это использование токенов НЕ будет включать системный промпт для персонажей.
- Лимиты токенов могут быть установлены для каждой LLM, для каждого персонажа или универсально/общие.
- Альтернатива пункту 1: можно использовать простое целочисленное ограничение на использование ботов на базе ИИ в личных сообщениях (DM и PM). Пример: лимит 100 сообщений любому персонажу в день.
- Настройка, позволяющая установить определённое количество выходных токенов для конкретной группы пользователей в день или в месяц для помощника на базе ИИ.
- Входные токены можно не учитывать, так как было бы нереалистично ожидать от пользователя, чтобы он заранее угадал количество токенов в длинной теме, например, при генерации резюме.
- Также разумно установить жёсткое целочисленное ограничение на длину (в словах, чтобы здесь не требовалось использовать TikToken) для пользовательских промптов, чтобы пользователи не пытались обходить свои дневные/месячные лимиты, используя Composer как неограниченный чат-бот
- Счётчик токенов в профиле пользователя и, возможно, даже в его личных сообщениях (PM и DM). Было бы здорово, если бы рядом с каждым сообщением пользователя и ИИ отображался небольшой текст с количеством токенов (мы не обязательно хотим предоставлять всем функцию отладки, к тому же она работает только в личных сообщениях).
- Отдельный счётчик токенов для помощника на базе ИИ (чтобы разделить эти две функции), который будет вести общий учёт для функций «объяснить», «проверить», «пользовательский промпт» и т. д.
Примечание: я никоим образом не критикую эту функцию или разработчиков, и приношу извинения, если какая-то часть этого текста может быть воспринята именно так. Честно говоря, плагин Discourse AI — один из моих любимых технологических продуктов за всё время. На самом деле, он позволяет мне строить свой бизнес мечты как исследователя и преподавателя в области ИИ без необходимости нанимать дополнительных инженеров и платить за дополнительную инфраструктуру — я могу всё настроить самостоятельно 
. Я просто считаю, что эта функция — последний недостающий элемент пазла не только для меня, но и для многих других участников Discourse, которые хотят предоставить своим пользователям возможность пользоваться этой замечательной технологией в разумных пределах.
Возможно, вы используете хостинг и у вас нет доступа к моему плагину?
. И я работаю на Droplet, так что это не проблема.
Скорее, проблема на моей стороне; я пытаюсь реализовать что-то довольно нишевое.
. По моему скромному мнению, ваша реализация здесь — самая идеальная. Моё сообщество и я искренне ценим проделанную здесь работу 
Будут ли лимиты токенов привязаны к подпискам? Было бы здорово, если бы мы могли контролировать использование и разрешать более дорогие модели за дополнительную плату.