이 가이드는 Discourse AI에서 대규모 언어 모델(LLM)의 사용량 할당량을 구성하고 관리하는 방법을 설명합니다.
필요한 사용자 권한: 관리자
요약
LLM 사용량 할당량은 관리자가 다양한 사용자 그룹의 토큰 사용량과 상호작용 횟수에 한도를 설정하여 AI 리소스 소비를 제어하고 모니터링할 수 있도록 합니다. 이를 통해 비용 효율성을 유지하면서 커뮤니티 내에서 AI 기능에 대한 공정한 접근을 보장할 수 있습니다.
구성
할당량 설정에 액세스하기
- 사이트의 관리자 패널로 이동합니다.
Admin > Plugins > Discourse AI > LLMs로 이동합니다.- 구성하려는 LLM 모델을 선택합니다.
할당량 설정하기
각 사용자 그룹별로 다음 항목을 구성할 수 있습니다:
- 최대 토큰 사용량
- 및/또는 최대 AI 상호작용 횟수
- 및/또는 최대 비용
- 리셋 주기 기간
각 할당량에 대해 최대 토큰 수 또는 최대 사용 횟수 중 적어도 하나는 설정해야 합니다.
참고: “everyone” 그룹에는 할당량을 지정할 수 없습니다. 특정 그룹(예: 신뢰 수준 그룹 또는 사용자 정의 그룹)을 사용해야 합니다.
기간 옵션
사전 정의된 리셋 주기를 선택할 수 있습니다:
- 1시간
- 6시간
- 24시간
- 7일
- 사용자 정의 기간 (시간 단위로 지정)
사용량 모니터링
통계 보기
관리자는 다음 주소에서 토큰 소비량과 사용량 소비를 모니터링할 수 있습니다: https://SITENAME/admin/plugins/discourse-ai/ai-usage
Admin > Plugins > Discourse AI로 이동합니다.- “Usage” 탭을 선택합니다.
- 날짜 범위, 사용자 그룹 또는 특정 지표별로 필터링합니다.
사용자 경험
할당량 알림
사용자는 할당량 한도에 접근하거나 도달할 때 명확한 피드백을 받습니다:
- 현재 사용량 상태
- 다음 할당량 리셋까지 남은 시간
오류 메시지
할당량이 초과되면 사용자는 다음을 확인합니다:
- 할당량 한도에 도달했다는 명확한 알림
- 다음 할당량 리셋까지 남은 시간
모범 사례
- 보수적으로 시작하기: 더 낮은 할당량으로 시작하고 실제 사용 패턴에 따라 조정합니다.
- 그룹 기반 할당: 사용자 그룹의 필요성과 역할에 따라 다른 할당량을 지정합니다.
- 정기적 모니터링: 사용량 패턴을 검토하여 할당량 설정을 최적화합니다.
- 명확한 소통: 사용자에게 할당량 한도와 리셋 주기에 대해 안내합니다.
일반적인 문제 및 해결 방법
문제: 사용자가 한도에 자주 도달함
해결 방법: 다음 사항을 고려해 보세요:
- 특정 그룹의 할당량 한도를 높입니다.
- 리셋 주기를 줄입니다.
- 높은 사용량을 보이는 사용자를 위한 전문 그룹을 생성합니다.
문제: 미사용 할당량
해결 방법:
- 리소스 할당을 최적화하기 위해 한도를 낮춥니다.
- 할당량이 사용자 요구에 부합하도록 그룹 할당을 검토합니다.
자주 묻는 질문
Q: 미사용 할당량은 이월되나요?
A: 아니요, 할당량은 각 기간이 끝나면 완전히 리셋됩니다.
Q: 다른 LLM 모델에 다른 할당량을 설정할 수 있나요?
A: 네, 각 LLM별로 할당량을 독립적으로 구성할 수 있습니다.
Q: 단일 LLM에 여러 할당량이 설정되어 있으면 어떻게 되나요?
A: 할당량은 그룹 기반이며 사용자별로 적용됩니다. 사용자가 할당량을 초과하려면 모든 그룹에서 할당량을 초과해야 합니다. 즉, 관리자에게 매우 느슨한 할당량을, 신뢰 수준 1에게 더 엄격한 할당량을 부여하면, 관리자의 경우 관리자 할당량이 적용됩니다.
Q: LLM에 할당량이 적용되지 않으면 어떻게 되나요?
A: 특별히 일어나는 일은 없으며 모든 LLM 사용량이 미계량(unmetered) 상태로 유지됩니다.
Q: 다른 기능별로 다른 할당량을 설정하고 싶다면 어떻게 하나요?
A: Discourse AI에서는 동일한 엔드포인트에 연결되는 여러 LLM을 정의할 수 있으며, 원할 경우 키를 재사용할 수도 있습니다. AI 헬퍼에는 하나의 할당량을, AI 에이전트에는 다른 할당량을 부여하려면 2개의 LLM을 정의하면 됩니다.
Q: 할당량을 제거하는 방법은 무엇인가요?
A: LLM 모델의 구성 페이지에서 할당량을 삭제하면 됩니다. 할당량을 일시적으로 "중지"하거나 비활성화하는 방법은 없으며, 삭제 후 다시 생성해야 합니다.