Ограничить количество токенов ИИ, которые пользователь может использовать в день?

Внести вклад Функция
,
1

Если вы предоставляете определенным членам доступ к ИИ, что мешает им использовать его постоянно для работы и т. д.? Есть ли способ ограничить количество токенов, которые они могут использовать в день или неделю и т. д.?

Weekly Summary of AI topics
2

При использовании Discourse AI таких ограничений нет, поэтому ответ — абсолютно ничего.

Другое решение, Chatbot, имеет недельные лимиты на количество отправляемых запросов.

Так что вам нужно выбрать то, что лучше подходит именно вам. Я использую оба варианта. Chatbot — для более общих задач внутри моего форума [1], а DAI ограничен группой и (настроенными) целями с использованием персон. Таким образом, я как бы использую лучшие стороны обоих решений, поскольку они лишь частично перекрываются.

  1. общие — это тип вопросов, иначе он настраивается более специализированным образом ↩︎

4 лайка
3

Переношу это в фичу: мы планируем внедрить систему квот, так как этот вопрос постоянно возникает.

Я думаю, что стоит добавить селекторы групп с показателями количества входных/выходных запросов и длительностью для каждой LLM, чтобы можно было устанавливать опциональные квоты.

7 лайков
4

Мне сейчас нужны ограничения скорости для каждого пользователя (а не для группы), поэтому я пытаюсь создать временное решение самостоятельно. Ограничение количества запросов вместо токенов тоже подойдёт. Я думаю о вебхуке на событии post_event, который проверяет, является ли сообщение личным, и если пользователь пишет боту, увеличивает пользовательское поле ‘ai_query_count’ у пользователя. Думаю, эта часть сработает.

А что делать, если счётчик станет слишком высоким? Я попробовал добавить JavaScript в раздел администрирования > настройка > head, который читает счётчик пользователя и пытается отключить кнопку «Ответить», если счётчик слишком высок, но не могу подобрать селектор для этой кнопки.

Или, возможно, есть более подходящий подход. Любые идеи будут приняты с благодарностью!

5

Технически это одно и то же — нужно просто создать группу из одного пользователя.

Это должно быть выпущено на этой неделе и решить проблему:

4 лайка
6

Я понимаю, что квоты по группам хороши для управления бюджетом, но что мешает одному человеку в начале периода отхватить всю квоту группы? РЕДАКТИРОВАНО: И потенциально использовать её для своей нерелевантной работы, как спрашивал автор темы?

У нас 3000 участников. Значит, создавать 3000 групп? Не развалит ли это /g?

2 лайка
7

Я немного запутался в этом вопросе: квоты сейчас определяются на уровне группы и применяются к каждому пользователю.

Если группе разрешено 1000 токенов, это означает, что ни одному отдельному пользователю не разрешено использовать более 1000 токенов.

Квота не разделяется между пользователями. Не противимся внедрению концепции абсолютной квоты, если она понадобится нам в будущем.

4 лайка
8

О, значит, я всё неправильно понял. Функция гласит:

Установка лимитов токенов и использования по группам с настраиваемой длительностью

Для меня «лимиты по группам» звучат так, будто лимит установлен на группу в целом.

Так что это именно то, что я ищу — буду ждать новую функцию.

2 лайка
10

Я планирую передать эту конфигурацию стажеру в следующую среду на самохостинговом сайте Discourse. Нужно ли мне сказать ему, чтобы он вытянул код из основной ветки на GitHub? Или достаточно, если он добавит эту строку в app.yml?

hooks:
  after_code:
    - exec:
        cd: $home/plugins
        cmd:
          - git clone https://github.com/discourse/docker_manager.git
          ...
          ...
          - git clone https://github.com/discourse/discourse-ai.git

Я хочу разрешить функции плагина Discourse AI только зарегистрированным пользователям. Является ли это поведением по умолчанию?

Мне кажется, что у поиска с улучшенным ИИ нет контроля по группам???

Это изображение представляет собой серию настроек и опций в интерфейсе ИИ, связанных с векторными представлениями (embeddings) ИИ, включая типы моделей, возможности семантического поиска и смежные темы. (Подпись сгенерирована ИИ)
Это изображение представляет собой серию настроек и опций в интерфейсе ИИ, связанных с векторными представлениями (embeddings) ИИ, включая типы моделей, возможности семантического поиска и смежные темы. (Подпись сгенерирована ИИ)559×560 27.1 KB

Что касается бота на базе ИИ, я думаю установить уровень доверия (trust) на 0 и установить лимит токенов для каждой группы, увеличивая его по мере роста уровня доверия. Это хорошая стратегия?

image
image309×143 4.58 KB

11

Это уже слито. Мне осталось лишь потратить немного времени на документирование.

3 лайка
12

@sam Спасибо за вашу работу. Сегодня стажер установил квоты для каждого уровня доверия.

Они еще не провели полное тестирование.

Когда дневной лимит группы исчерпан, получает ли пользователь сообщение? Можно ли настроить это сообщение?

Я хочу, чтобы ИИ был полезным, но при этом защищал нас от злоупотреблений. Если кто-то хочет использовать больше поиска с ИИ, я хочу отправить ему уведомление о том, что он может связаться с человеком для увеличения лимита. Сотрудники затем могут вручную перевести его в предварительно настроенную группу.

В вашем примере я заметил, что вы используете Amazon Nova Pro v1. Стажер настроил нашу реализацию на OpenAI gpt-o4, вероятно, просто из-за узнаваемости бренда.

Стажер все еще пытается оценить эффективность и стоимость различных моделей. Любые советы от участников форума были бы очень кстати.

1 лайк
13

Да, сейчас это происходит.

В очень ограниченной степени: мы используем переведённую строку, поэтому вы можете изменить перевод.

Закрываю эту тему, так как задача выполнена. Не стесняйтесь задавать новые вопросы об ИИ!

1 лайк