일부 계산을 해본 결과, 사용자의 월별 또는 일별 토큰 입력 및 출력을 제한할 수 있는 기능이 없으면 빠르게 문제가 생길 수 있다는 결론에 도달했습니다. 현재 AI 봇과의 사용자 상호작용을 제한하는 유일한 방법은 AI 봇을 개인 메시지(PM)에서만 허용하는 것(각 페르소나에 대한 채팅 비활성화)과 일일 허용 PM 수를 설정하는 것입니다. 하지만 물론 이는 비현실적입니다. OpenAI가 ChatGPT 멤버들에게 적용하는 방식을 참고하여, 이 기능의 필요성을 정당화하는 “최악의 시나리오” 비용 분석 예시를 다음과 같이 제시합니다:
GPT-4o mini, 32k 컨텍스트 (참고: 컨텍스트 길이는 LLM 설정 페이지의 “프롬프트용 토큰 수” 설정을 통해 지정됩니다)
현재 비용: 입력 100만 토큰당 $0.15 / 출력 100만 토큰당 $0.60
사용자가 매일 32k를 입력하고 16k를 출력하며, 이를 30일(일반적인 구독의 한 결제 주기) 동안 지속한다고 가정해 보겠습니다:
월별 입력 비용 = 960,000 토큰 = 약 $0.14
월별 출력 비용 = 480,000 토큰 = 약 $0.28
음, 실제로는 나쁘지 않네요, 그렇죠? 반 달러도 안 됩니다. 하지만 이는 상당히 낮은 사용량입니다. 특히 GPT-4o mini는 한 번에 최대 16.4k 토큰까지 생성할 수 있기 때문이죠(물론 프롬프트와 LLM 설정을 조정하여 이를 방지할 수는 있습니다). 사용자가 AI 봇을 얼마나 많이 사용할 것으로 생각하는지에 따라 이러한 비용을 곱해 볼 수 있습니다. 가장 나쁜 점은 이 모델이 incredibly 저렴하다는 것입니다. Claude 3.5 Sonnet(입력 100만 토큰당 $3 / 출력 100만 토큰당 $15)과 GPT-4o(입력 100만 토큰당 $5 / 출력 100만 토큰당 $15)의 경우 비용은 지수적으로 더 높습니다 — GPT-4 Turbo에 대해서는 언급조차 하지 않겠습니다. 다음은 Claude 3.5 Sonnet에 대한 동일한 분석입니다:
Claude 3.5 Sonnet, 32k 컨텍스트
월별 입력 비용 = 약 $2.88
월별 출력 비용 = 약 $7.20
합계 = 약 $10.08
하지만 다시 한번 말씀드리지만, 이는 낮은 사용량입니다. 따라서 AI 봇에서 LLM 사용에 제한이 없을 경우 얼마나 비용이 많이 들 수 있는지가 명확해집니다. 이 값을 2로 곱한다면, 약 $5의 이윤을 남기려면 $25의 구독료를 부과해야 합니다 
제가 공식적으로 제안하는 내용은 다음과 같습니다:
- AI 봇의 경우, 특정 사용자 그룹에 대해 월별 또는 일별 특정 양의 토큰 입력과 출력을 허용하는 설정.
- 이 토큰 사용량에는 페르소나의 시스템 프롬프트가 포함되지 않아야 합니다.
- 토큰 한도는 LLM별, 페르소나별, 또는 전체/보편적으로 설정할 수 있어야 합니다.
- 1번 항목의 대안으로, DM과 PM에서 AI 봇을 사용할 때의 간단한 정수 한도를 사용할 수 있습니다. 예: 페르소나당 하루 100개의 DM 제한.
- AI 헬퍼의 경우, 특정 사용자 그룹에 대해 월별 또는 일별 특정 양의 토큰 출력을 허용하는 설정.
- 긴 토픽이 몇 토큰인지 사용자가 추측하는 것은 비현실적이므로(예: 요약 생성 시), 토큰 입력은 계산에서 제외해도 무방합니다.
- 사용자가 Composer를 미터링되지 않은 채팅봇으로 사용하여 월별/일별 한도를 우회하려는 시도를 하지 않도록, 커스텀 프롬프트의 길이(단위로, 여기서 TikToken을 사용하지 않도록 하기 위함)에 대한 하드 정수 한도를 두는 것도 현명할 수 있습니다
- 사용자 프로필과 어쩌면 PM 및 DM 안에서도 표시되는 토큰 카운터. 각 사용자 및 AI 메시지 옆에 해당 메시지의 토큰 수를 표시하는 작은 텍스트가 있다면 좋겠습니다(모두에게 디버그 기능을 허용하고 싶지는 않고, 어쨌든 그것은 PM에서만 작동합니다)
- AI 헬퍼용 별도의 토큰 카운터(이 두 기능을 분리하여 유지하는 데 도움이 됨)로, 설명, 교정, 커스텀 프롬프트 등이 카운트를 공유하도록 하는 것이 좋습니다.
부연 설명: 저는 이 기능이나 개발자들을 전혀 비판하는 것이 아니며, 이 글이 그렇게 읽힌다면 죄송합니다. 솔직히 Discourse AI 플러그인은 제가 지금까지 사용해 온 기술 중 최고 중 하나입니다. 실제로, 이 기능 덕분에 저는 AI 연구자 및 교육자로서 제 꿈의 사업을 구축할 수 있으며, 추가 엔지니어를 고용하거나 추가 인프라 비용을 지불할 필요가 없습니다 — 모든 것을 혼자서 설정할 수 있습니다 
. 저는 이 기능이 저뿐만 아니라, 이 훌륭한 기술을 합리적인 범위 내에서 사용자들에게 즐길 수 있게 하고자 하는 수많은 다른 Discourse 사용자들에게 퍼즐의 마지막 조각이라고 생각합니다.
아마도 호스팅 서비스를 이용 중이셔서 제 플러그인에 접근할 수 없는 상황일까요?
. 그리고 저는 드롭렛(droplet)을 사용 중이라 그 문제는 아닙니다.
오히려 문제는 제 쪽에 있습니다. 꽤 니치한(niche) 것을 시도하고 있는 것이죠.
. 제 생각에는 여기 구현하신 방식이 가장 이상적입니다. 저희 커뮤니티와 저는 여기서 이루어지고 있는 작업에 진심으로 감사드립니다 
토큰 한도가 구독과 연동될 예정인가요? 사용량을 관리하고, 비용을 지불하면 더 비싼 모델을 사용할 수 있다면 정말 좋을 것 같습니다.