В этом руководстве объясняется, как настроить и управлять квотами использования для больших языковых моделей (LLM) в Discourse AI.
Требуемый уровень пользователя: Администратор
Краткое описание
Квоты использования LLM позволяют администраторам контролировать и отслеживать потребление ресурсов ИИ, устанавливая ограничения на использование токенов и количество взаимодействий для различных групп пользователей. Это помогает поддерживать экономическую эффективность, обеспечивая при этом справедливый доступ к функциям ИИ для всего сообщества.
Настройка
Доступ к настройкам квот
- Перейдите в панель администратора вашего сайта
- Откройте
Admin > Plugins > Discourse AI > LLMs - Выберите модель LLM, которую хотите настроить
Настройка квот
Для каждой группы пользователей можно настроить:
- Максимальное количество токенов
- И/или максимальное количество взаимодействий с ИИ
- И/или максимальную стоимость
- Длительность периода сброса
Для каждой квоты должно быть установлено хотя бы одно из значений: максимальное количество токенов или максимальное количество использований.
Примечание: Группе “everyone” (все) нельзя назначить квоту. Необходимо использовать конкретные группы (например, группы по уровням доверия или пользовательские группы).
Варианты длительности
Выберите один из предустановленных периодов сброса:
- 1 час
- 6 часов
- 24 часа
- 7 дней
- Пользовательская длительность (указывается в часах)
Мониторинг использования
Просмотр статистики
Администраторы могут отслеживать потребление токенов и общее использование по адресу: https://SITENAME/admin/plugins/discourse-ai/ai-usage
- Перейдите в
Admin > Plugins > Discourse AI - Выберите вкладку “Usage” (Использование)
- Отфильтруйте данные по диапазону дат, группе пользователей или конкретным метрикам
Пользовательский опыт
Уведомления о квотах
Пользователи получают четкую обратную связь при приближении к лимитам квоты или их достижении:
- Текущий статус использования
- Время до следующего сброса квоты
Сообщения об ошибках
При превышении квоты пользователи видят:
- Четкое уведомление о достижении лимита квоты
- Оставшееся время до следующего сброса квоты
Лучшие практики
- Начинайте с осторожностью: Начните с более низких квот и корректируйте их на основе фактических паттернов использования
- Распределение по группам: Назначайте разные квоты в зависимости от потребностей и ролей групп пользователей
- Регулярный мониторинг: Отслеживайте паттерны использования для оптимизации настроек квот
- Прозрачная коммуникация: Информируйте пользователей о лимитах квот и периодах сброса
Распространенные проблемы и решения
Проблема: Пользователи часто достигают лимитов
Решение: Рассмотрите возможность:
- Увеличения лимитов квоты для определенных групп
- Сокращения периода сброса
- Создания специализированных групп для пользователей с высоким уровнем потребления
Проблема: Невыбранные квоты
Решение:
- Уменьшите лимиты для оптимизации распределения ресурсов
- Проверьте назначение групп, чтобы убедиться, что квоты соответствуют потребностям пользователей
Часто задаваемые вопросы
В: Переносятся ли неиспользованные квоты?
О: Нет, квоты полностью сбрасываются в конце каждого периода.
В: Могут ли разные модели LLM иметь разные квоты?
О: Да, квоты можно настраивать независимо для каждой LLM.
В: Что происходит, если для одной LLM установлено несколько квот?
О: Квоты основаны на группах и применяются для каждого пользователя. Чтобы пользователь превысил квоту, он должен превысить квоту во всех группах. Это означает, что если вы установите очень щедрую квоту для администраторов и более строгую для уровня доверия 1, то для администраторов будет применяться квота администраторов.
В: Что если к LLM не применена никакая квота?
О: Ничего особенного не произойдет, все использования LLM будут безлимитными.
В: Что если я хочу установить разные квоты для разных функций?
О: Discourse AI позволяет определять несколько LLM, которые обращаются к одному и тому же конечному узлу и даже могут повторно использовать ключи. Если вы хотите установить одну квоту для AI Helper и другую для AI Agent, определите 2 LLM.
В: Как удалить квоту?
О: Удалите квоту на странице настроек модели LLM. Нет способа временно “приостановить” или отключить квоту — ее необходимо удалить и создать заново.