# AI 기반 포럼에서 비용과 기능의 균형 맞추기
**URL:** https://meta.discourse.org/t/balancing-costs-and-functionality-in-ai-powered-forums/289300
**Category:** Feature
**Tags:** ai, ai-bot
**Created:** [12월 20, 2023, 8:39오전 UTC](https://meta.discourse.org/t/balancing-costs-and-functionality-in-ai-powered-forums/289300 "2023-12-20T08:39:54Z")
**Posts on this page:** 5
**Page:** 1
### Author:  [@Aizada\_M](https://meta.discourse.org/u/Aizada_M)
#### Post date: [12월 20, 2023, 8:39오전 UTC](https://meta.discourse.org/t/balancing-costs-and-functionality-in-ai-powered-forums/289300/1 "2023-12-20T08:39:54Z")
[Limit # topic posts / user / month](https://meta.discourse.org/t/limit-topic-posts-user-month/139269) 토론을 이어서 진행합니다:
> [@Saif](#):
>
> 비용을 통제하거나 기능을 세밀하게 조정하는 데 도움이 될 것이라고 생각하는 다른 매개변수(그리고 그 이유)가 어떤 것이 있는지 궁금합니다.
안녕하세요 👋 관심 가져주셔서 감사합니다 🙏
추가적인 맥락을 설명드리면, 2021년 카자흐스탄에서 진행한 포럼 기반 첫 번째 프로젝트는 대부분의 거주자들이 텔레그램이나 WhatsApp을 선호하기 때문에 성공하지 못했습니다. [Discourse AI](https://meta.discourse.org/t/discourse-ai/259214) 봇과 [Chatbot](https://meta.discourse.org/t/discourse-chatbot-now-smarter-than-chatgpt/256652) 플러그인의 도입으로 제 웹사이트는 두 번째 기회를 얻게 되었으며, 현재는 인공 지능과의 소통(분류된 쿼리 템플릿, 봇 캐릭터 등)에만 집중하고 있습니다.
1. 토큰 사용량 통제에 관하여: 상호작용하는 봇 캐릭터(GPT3, 3.5, 4, 4.5t, 및/또는 Composer Assistant)에 따라 토큰 사용량을 추적하고 관리할 수 있는 별도의 통계/설정 패널이 있으면 좋겠습니다. 관리자로서 1개월간의 시험 사용 기간 동안 이미 ChatGPT 쿼리에 $70이 넘는 토큰을 소모했는데, 이는 저에게 상당한 지출입니다. 이제 일반 사용자들에게 봇 접근 권한을 제공하고자 하므로, 통제가 어려운 예산 문제로 인해 걱정이 되기 시작합니다.
특정 사용자 그룹에게 AI 접근 권한을 부여하고 "사용하세요"라고 말하는 상황을 상상해 보십시오. 만약 한 사용자가 하루 동안 예산을 고갈시킬 만큼 충분한 쿼리를 생성한다고 가정해 봅시다. 이제 다른 사용자가 AI에 쿼리를 시도하면… 응답(아무것도)을 받지 못할 것입니다. 두 번째 사용자는 봇이 응답하지 않은 이유를 이해하지 못하고 서비스가 고장 난 것으로 오해하여 다른 서비스를 선택할 수 있습니다.
이를 위해 사용자 탭에 별도의 패널을 두어 각 사용자(관리자/모더레이터/일반 사용자)가 토큰 사용량, 봇 온도, top(이는 게시물 편집기에 배치될 수 있으며, 아래 다이어그램 참조) 및 기타 세밀 조정 설정을 추적하고 제어할 수 있도록 하는 것이 적절할 것입니다.
예를 들어, 저를 위한 임계 금액을 설정하고, 해당 금액에 도달하면 예산/토큰 충전에 대한 알림을 받고 싶습니다. 서로 다른 AI 모델은 소비된 토큰의 비용이 다를 수 있으므로, 저와 다른 사용자 그룹을 위해 각 봇의 토큰을 제한할 수 있는 기능이 필요합니다. 각 사용자는 관리자가 할 수 있는 것과 유사하게 할당된 토큰 한도를 독립적으로 관리할 수 있어야 합니다. 또한 일부 사용자 그룹(모더레이터, TL4)에게 생성 설정(온도, TOP 📤, 등)을 세밀하게 조정할 수 있는 기능을 제공하는 것도 도움이 될 것입니다.
예를 들어, 모든 사용자를 위해 `embeddings semantic related topics`의 최대 값을 정의하는 대신, 사용자 그룹에 따라 이러한 제한을 제공하는 것이 실용적일 것입니다. 예를 들어 Staff 그룹에는 최대 7, 일반 사용자는 3 등으로 설정할 수 있습니다. 각 사용자는 자신의 계정 사용자 패널에서 이러한 값을 설정할 수 있어야 합니다. 이 접근 방식은 AI 사용과 각 사용자에게 할당된 토큰 한도를 제어하는 기능을 민주화할 것입니다.
예를 들어, `ai helper automatic chat thread title` 도 사용자 그룹을 기반으로 결정될 수 있으며, 각 사용자는 사용자 패널에서 이 기능을 활성화/비활성화할 수 있는 선택지를 가질 수 있습니다. `ai helper model`도 그룹을 기반으로 사용자의 선택에 맡길 수 있습니다. Group-A에게 GPT4t와 GPT3.5t 중 선택할 수 있는 옵션을 제공하면, 각 사용자가 독립적으로 선택할 수 있습니다.
또한 특권 그룹이 자신의 쿼리가 우선 처리되어 LLM 큐의 앞부분에 전송되도록 하는 기능을 추가할 수도 있습니다.
**이 내용을 더 자세히 설명하기 위해 일러스트를 만들어 보았습니다 (빠르게 만든 일러스트이므로 너무 심하게 판단하지 마세요):**
참고: 위 이미지에서는 일반 사용자를 위해 제안된 가능한 기능을 반영해 보았습니다. 이러한 기능은 잠금 처리될 수 있으며, 사용자에게 명확히 하기 위해 기능 활성화/한도 증가/봇 추가를 위한 버튼이 있으면 적절할 것입니다. 이러한 버튼은 파란색으로 강조되어 있으며, 이 버튼 중 하나를 클릭하면 더 많은 AI 상호작용 기능을 위해 특권 그룹에 가입하도록 유도하는 페이지로 사용자를 리디렉션하게 됩니다.
### 2) 편집기에서는 다음을 제안합니다:
- [봇을 유형별로 분류](https://meta.discourse.org/t/organising-and-accessing-a-large-amount-of-ai-bot-personas/288652/2?u=aizada_m) (이미지, 텍스트, 오디오 등 작업) 및 Composer 인터페이스 내 추가 쿼리 설정(위 1번 항목 참조).
- 봇 캐릭터(서버 부하를 줄이는 레버 중 하나) 또는 사용자 그룹을 기반으로 쿼리의 문자 수를 제한하는 기능 추가. 이와 관련된 내용을 [여기](https://meta.discourse.org/t/character-count-when-writing-description/190698/4?u=aizada_m)에서 논의했습니다.
- 기존 [Discourse Templates](https://meta.discourse.org/t/discourse-templates/229250) 플러그인 또는 현재 개발 중인 (개인 메시지에서 사용 가능) 잠재적인 수정 사항인 [Experimental Form Templates](https://meta.discourse.org/t/introducing-experimental-form-templates/278631)을 사용하여 쿼리 템플릿을 삽입하는 기능.
- 텍스트 입력 영역에 힌트 템플릿을 삽입하는 기능 (카테고리 설정의 카테고리 테마 템플릿과 유사하게).
다음은 예시 일러스트입니다:
참고: 이미지에서 보여준 바와 같이 편집기 하단에 문자 입력 한도를 표시하는 것이 바람직합니다.
[AI Persona Editor for Discourse](https://meta.discourse.org/t/new-ai-persona-editor-for-discourse/286271)의 추가 옵션(API 설정 제외), 이는 나중에 메시지 편집기에 표시됩니다:
**P.S.** 요즘 저는 좀 컨디션이 좋지 않아서 (감기) 제 제안 중 일부가 다소 산만하고 명확하지 않을 수 있습니다. 저는 Discourse에 신참이고 프로그래밍 지식이 부족하며, 특정 용어가 포함된 게시물이 많은 이 영어 포럼에서 정보를 파악하는 것이 어렵습니다. 따라서 제 아이디어(제안)가 때로는 다소 황당하게 보일 수 있고, Discourse의 일부 기술적 제약 사항과 일치하지 않을 수 있음을 인정합니다. 또한 팀에는 플러그인에 대한 자체 프로젝트 로드맵이 있을 수 있으며, 이는 제 견해와 반드시 일치하지 않을 수 있습니다. 그러나 AI 혁명이 이러한 서비스로 많은 사용자를 끌어들일 것이라고 믿고, Discourse는 시장에 등장하는 대부분의 프로젝트보다 앞서 AI와 상호작용할 수 있는 모든 기술적 역량을 갖추고 있다고 생각하기 때문에 이 게시물을 작성하기로 결정했습니다 (Open AI가 포럼에 Discourse를 사용한다는 사실은 많은 것을 말해줍니다). 따라서 말하지 않는 것보다 말하는 것이 낫다고 생각합니다. 이 관점에서, 제 제안은 아웃사이더의 관점, 즉 명확성과 상호작용 기능을 원하지만 사회 네트워크와 메신저가 종종 이러한 기능을 갖추지 못하는 일반 사용자(종종 사회 네트워크와 메신저에 익숙한)의 제안으로 받아들이시기 바랍니다.
수정. 이러한 기능을 구현하려면 상당한 인력과 재정적 비용(모든 스폰서가 감당할 수 있는 수준은 아님)이 필요할 수 있음을 이해합니다. 이러한 제안에 대해 투표를 실시하고/또는 크라우드 펀딩을 조직하는 것이 가치 있을 수 있습니다.
---
### Author:  [@sam](https://meta.discourse.org/u/sam)
#### Post date: [12월 22, 2023, 2:19오전 UTC](https://meta.discourse.org/t/balancing-costs-and-functionality-in-ai-powered-forums/289300/3 "2023-12-22T02:19:57Z")
세심하게 고민하신 주제에 대해 감사드립니다!
말씀하신 내용을 잘 이해했습니다. 중기적으로 명확하게 필요한 핵심은 바로 ‘할당(quota)’ 개념입니다.
LLM 선택 → 그룹별 할당 설정 (모든 것이 토큰 기준으로 과금되므로, 하루에 허용되는 토큰 수)
이렇게 하면 파산에 대한 걱정 없이 AI 기능을 더 큰 그룹에게 안전하게 제공할 수 있습니다.
결국 이 지점에 도달할 것이라고 생각하지만, 아직 정확한 일정은 잡히지 않았습니다.
다행히도 최근 LLM 인터페이스를 표준화하기 위해 많은 작업을 진행했기 때문에, 과거보다 훨씬 실용적이고 간단하게 구현할 수 있을 것입니다.
---
### Author:  [@Aizada\_M](https://meta.discourse.org/u/Aizada_M)
#### Post date: [12월 22, 2023, 3:52오전 UTC](https://meta.discourse.org/t/balancing-costs-and-functionality-in-ai-powered-forums/289300/4 "2023-12-22T03:52:21Z")
답변해 주셔서 감사합니다 🙌. 제 말을 들어 주셔서 정말 기쁩니다 🙏
> [@sam](#):
>
> 다만 최근 LLM 인터페이스를 표준화하기 위해 많은 작업을 해 왔기 때문에, 과거보다 훨씬 실용적이고 직관적으로 구축할 수 있을 것입니다.
정말 사실입니다. 여러분의 팀이 훌륭한 일을 하고 있습니다. 불과 몇 달 전만 해도 멀게만 느껴지던 것이 이제는 이미 작동하고 있습니다. 영감을 받을 수밖에 없습니다. 👏👍
---
### Author:  [@MachineScholar](https://meta.discourse.org/u/MachineScholar)
#### Post date: [7월 24, 2024, 12:32오후 UTC](https://meta.discourse.org/t/balancing-costs-and-functionality-in-ai-powered-forums/289300/5 "2024-07-24T12:32:00Z")
정말 좋은 지적을 해 주셨네요! AI 봇과 AI 헬퍼의 사용자 그룹 AI 사용량에 대한 하드 캡 기능 도입의 필요성을 주장하는 [유사한 주제](https://meta.discourse.org/t/making-the-case-for-a-hard-cap-feature-on-user-group-ai-usage-for-ai-bots-and-ai-helper/318085?u=machinescholar)를 추가 아이디어와 관점을 담아 최근 생성했습니다. 제 제안에 대한 여러분의 의견을 정말 궁금해합니다! 😁
---
### Author:  [@sam](https://meta.discourse.org/u/sam)
#### Post date: [1월 21, 2025, 6:12오전 UTC](https://meta.discourse.org/t/balancing-costs-and-functionality-in-ai-powered-forums/289300/6 "2025-01-21T06:12:26Z")
할당량(Quota)은 이제 다음 기준으로 구현되었습니다:
> [@Discourse AI에서 LLM 사용량 할당량 설정하기](https://meta.discourse.org/t/configuring-llm-usage-quotas-in-discourse-ai/348125):
>
> bookmark 이 가이드는 Discourse AI에서 대규모 언어 모델(LLM)의 사용량 할당량을 구성하고 관리하는 방법을 설명합니다. person_raising_hand 필요한 사용자 권한: 관리자 요약 LLM 사용량 할당량은 관리자가 다양한 사용자 그룹의 토큰 사용량과 상호작용 횟수에 한도를 설정하여 AI 리소스 소비를 제어하고 모니터링할 수 있도록 합니다. 이를 통해 비용 효율성을 유지하면서 커뮤니티 내에서 AI 기능에 대한 공정한 접근을 보장할 수 있습니다. 구성 할당량 설정에 액세스하기 사이트의 관리자 패널로 이동합니다. Admin \> Plugins \> Discourse AI \> LLMs로 이동합니다. 구성하려는 LLM 모델을 선택합니다.
@Aizada_M 뛰어난 리포팅과 할당량이 이미 갖춰진 상황에서, 현재 우리 위치(현황)에 대해 어떻게 생각하시나요?