В этом руководстве объясняется, как настроить и управлять квотами использования для больших языковых моделей (LLM) в Discourse AI.
Требуемый уровень пользователя: Администратор
Краткое содержание
Квоты использования LLM позволяют администраторам контролировать и отслеживать потребление ресурсов ИИ, устанавливая ограничения на использование токенов и количество взаимодействий для различных групп пользователей. Это помогает поддерживать экономическую эффективность, обеспечивая при этом справедливый доступ к функциям ИИ во всем вашем сообществе.
Настройка
Доступ к настройкам квот
- Перейдите в панель администратора вашего сайта.
- Откройте раздел
Администрирование > Плагины > Discourse AI > LLM. - Выберите модель LLM, которую вы хотите настроить.
Настройка квот
Для каждой группы пользователей вы можете настроить:
- Максимальное использование токенов
- Максимальное количество взаимодействий с ИИ (или оба параметра)
- Длительность периода сброса
Для каждой квоты должно быть установлено хотя бы одно из значений: максимальное количество токенов или максимальное число использований.
Примечание: Группе “все” нельзя назначить квоту. Вы должны использовать конкретные группы (например, группы уровня доверия или пользовательские группы).
Варианты длительности
Выберите из предустановленных периодов сброса:
- 1 час
- 6 часов
- 24 часа
- 7 дней
- Пользовательская длительность (указывается в часах)
Мониторинг использования
Просмотр статистики
Администраторы могут отслеживать потребление токенов и использование ресурсов по адресу: https://SITENAME/admin/plugins/discourse-ai/ai-usage
- Перейдите в раздел
Администрирование > Плагины > Discourse AI. - Выберите вкладку “Использование”.
- Отфильтруйте данные по диапазону дат, группе пользователей или конкретным показателям.
Опыт пользователя
Уведомления о квотах
Пользователи получают четкую обратную связь при приближении к лимитам квоты или достижении их:
- Текущий статус использования
- Время до следующего сброса квоты
Сообщения об ошибках
При превышении квоты пользователи видят:
- Четкое уведомление о достижении лимита квоты
- Оставшееся время до следующего сброса квоты
Рекомендации по использованию
- Начинайте с консервативных значений: Начните с более низких квот и корректируйте их в зависимости от реальных паттернов использования.
- Распределение по группам: Назначайте разные квоты в зависимости от потребностей и ролей групп пользователей.
- Регулярный мониторинг: Анализируйте паттерны использования для оптимизации настроек квот.
- Четкая коммуникация: Информируйте пользователей о лимитах квот и периодах их сброса.
Распространенные проблемы и решения
Проблема: Пользователи часто достигают лимитов
Решение: Рассмотрите возможность:
- Увеличения лимитов квот для конкретных групп
- Сокращения периода сброса
- Создания специализированных групп для пользователей с высоким уровнем использования
Проблема: Неиспользуемые квоты
Решение:
- Уменьшите лимиты для оптимизации распределения ресурсов
- Проверьте назначения групп, чтобы убедиться, что квоты соответствуют потребностям пользователей
Часто задаваемые вопросы
В: Переносятся ли неиспользованные квоты?
О: Нет, квоты полностью сбрасываются в конце каждого периода.
В: Могут ли разные модели LLM иметь разные квоты?
О: Да, квоты могут быть настроены независимо для каждой модели LLM.
В: Что происходит, если для одной модели LLM установлено несколько квот?
О: Квоты основаны на группах и применяются к каждому пользователю. Чтобы пользователь превысил квоту, он должен превысить лимит во всех группах, к которым он принадлежит. Это означает, что если вы установите для администраторов очень щадящую квоту, а для уровня доверия 1 — более строгую, то к администраторам будет применяться их квота.
В: Что произойдет, если к модели LLM не применена квота?
О: Ничего особенного не произойдет, все использование LLM будет неограниченным.
В: Что делать, если я хочу разные квоты для разных функций?
О: Discourse AI позволяет определять несколько моделей LLM, которые обращаются к одной и той же конечной точке и даже могут использовать одни и те же ключи. Если вы хотите установить одну квоту для AI Helper и другую для AI Agent, определите две модели LLM.
В: Как удалить квоту?
О: Удалите квоту со страницы конфигурации модели LLM. Нет возможности временно “приостановить” или отключить квоту — её необходимо удалить и создать заново.