특정 멤버들에게 AI 접근 권한을 부여할 경우, 이들이 업무 등에 AI를 지속적으로 사용할 수 있도록 하는 것을 방지하는 방법이 있을까요? 하루나 일주일あたりに 사용할 수 있는 토큰 수를 제한할 수 있는 방법이 있나요?
Discourse AI를 사용할 때는 이러한 제한이 없으므로, 답은 단순히 '없음’입니다.
다른 솔루션인 챗봇은 주당 요청 횟수에 제한이 있습니다.
따라서 자신에게 더 적합한 쪽을 선택해야 합니다. 저는 둘 다 사용합니다. 챗봇은 포럼 내에서 더 일반적인 용도로 사용하며 [1], DAI는 그룹과 (조정된) 목적에 따라 페르소나를 활용하여 제한됩니다. 그래서 저는 이 두 가지가 부분적으로만 겹치기 때문에 각각의 가장 좋은 측면을 활용하는 셈입니다.
여기서 '일반적’이란 질문의 유형을 의미하며, 그렇지 않은 경우 더 전문적인 방식으로 조정됩니다 ↩︎
4개의 좋아요
이 내용을 기능 요청으로 이동합니다. 쿼터 시스템을 추가할 계획이며, 해당 문제가 반복적으로 발생하고 있습니다.
각 LLM에 입력/출력 횟수와 사용 시간을 나타내는 그룹 선택기를 추가하여 선택적으로 쿼터를 설정할 수 있도록 하는 방안을 고려하고 있습니다.
7개의 좋아요
요즘에는 그룹별이 아니라 사용자별로 속도 제한이 필요해서, 임시 솔루션을 직접 만들어 보고 있습니다. 토큰 수가 아니라 프롬프트 수를 제한하는 방식이면 괜찮을 것 같습니다. post_event 웹훅을 사용해, DM에서 사용자가 봇에게 메시지를 보낼 때 해당 사용자의 사용자 정의 필드인 'ai_query_count’를 증가시키는 방식을 생각하고 있습니다. 이 부분은 작동할 것 같습니다.
그런데 카운트가 너무 높아지면 어떻게 해야 할까요? admin > customize > head에서 사용자의 카운트를 읽고, 카운트가 너무 높으면 답변(Reply) 버튼을 비활성화하려는 자바스크립트를 시도해 보았지만, 버튼을 선택할 선택자(selector)를 찾지 못했습니다.
아니면 더 나은 접근 방식이 있을까요? 어떤 아이디어든 환영합니다!
기술적으로는 동일한 개념이며, 단순히 1명의 사용자만 포함된 그룹을 만들면 됩니다.
이번 주에 이 기능이 반영되어 문제를 해결할 것입니다:
4개의 좋아요
그룹별 할당량이 예산 관리에 좋다는 건 이해합니다. 그런데 기간 초반에 한 사람이 그룹의 할당량 전체를 독차지하는 걸 어떻게 막나요? 수정: OP가 말한 것처럼, 자신과 무관한 작업에 할당량을 독점적으로 쓰는 경우에도 마찬가지일 텐데?
우리는 회원이 3000명입니다. 그러면 3000개나 그룹을 만들어야 하나요? 그러면 /g 명령어가 망가지지 않을까요?
2개의 좋아요
이 질문에 대해 조금 혼란스럽습니다. 할당량(quota)은 이제 그룹별로 정의되고 사용자별로 적용됩니다.
그룹에 1000개의 토큰이 허용된다는 것은 개별 사용자가 1000개 이상의 토큰을 사용할 수 없다는 뜻입니다.
할당량은 사용자 간에 공유되지 않으며, 나중에 필요할 경우 절대적 할당량 개념을 추가하는 데 반대하지 않습니다.
4개의 좋아요
아, 그러면 제가 완전히 오해했네요. 해당 기능 설명에는 이렇게 되어 있습니다:
그룹별 토큰 및 사용량 한도를 설정하고, 지속 기간을 구성할 수 있습니다
저에게는 "그룹별 한도"라는 표현이 그룹 전체에 한도가 설정된다는 의미로 들렸습니다.
그래서 제가 찾고 있는 것이 바로 이것입니다. 새 기능이 출시될 때까지 기다리겠습니다.
2개의 좋아요
다음 수요일에 이 설정을 자체 호스팅 Discourse 사이트의 인턴에게 할당할 예정입니다. GitHub의 main 브랜치에서 pull하도록 안내해야 하나요? 아니면 app.yml에 이 줄을 추가하는 것만으로 충분한가요?
hooks:
after_code:
- exec:
cd: $home/plugins
cmd:
- git clone https://github.com/discourse/docker_manager.git
...
...
- git clone https://github.com/discourse/discourse-ai.git
Discourse AI 플러그인 기능을 등록 사용자에게만 허용하고 싶습니다. 이것이 기본 동작인가요?
AI 강화 검색에는 그룹별 제어 기능이 없는 것 같은데???
AI 봇의 경우, 신뢰도를 0으로 설정하고 그룹별 토큰 한도를 설정한 후, 신뢰도가 높아짐에 따라 한도를 높이는 방식을 고려하고 있습니다. 이것이 좋은 전략일까요?
이건 병합이 완료되었습니다. 이제 문서를 작성할 시간을 좀 가져야 합니다.
3개의 좋아요
@sam 수고 많으셨습니다. 인턴이 오늘 각 신뢰 수준별로 할당량(quota)을 설정했습니다.
아직 완전히 테스트하지는 않았습니다.
하루 그룹 한도에 도달하면 사용자에게 메시지가 표시됩니까? 이 메시지를 커스터마이즈할 수 있을까요?
AI가 유용하도록 하되 남용으로부터 보호받고 싶습니다. 누군가 AI 검색을 더 많이 사용하려면, 한도를 상향 조정하려면 인간에게 연락할 수 있다는 메모를 보내고 싶습니다. 그러면 직원이 해당 사용자를 사전 구성된 그룹으로 수동으로 이동시킬 수 있습니다.
예시에서 amazon nova pro v1을 사용하시는 것을 확인했습니다. 인턴은 브랜드 인지도 때문인지 우리의 구현에 OpenAI gpt-o4를 설정해 두었습니다.
인턴은 아직 다양한 모델의 효과와 비용 대비 효율성을 파악하는 중입니다. 포럼에서 조언을 주시면 감사하겠습니다.
1개의 좋아요
네, 이제 그렇게 작동합니다.
매우 제한적으로 가능합니다. 번역된 문자열을 사용하므로 번역을 수정할 수 있습니다.
완료되었으므로 이 이슈를 닫겠습니다. AI 관련 새로운 질문은 자유롭게 등록해 주세요!
1개의 좋아요