Discourse AI에서 LLM 사용 비용 추정

:information_source: Discourse AI의 특정 기능을 사용하려면 대규모 언어 모델(LLM) 제공업체를 사용해야 합니다. 각 AI 기능별로 어떤 LLM이 호환되는지 확인해 보세요.

:dollar: 비용이 큰 걱정거리라면, 지출을 관리하는 데 도움이 되는 Discourse AI의 내장 도구가 몇 가지 있습니다:

  • AI 사용량 대시보드 — 기능, 모델, 사용자별 토큰 소비량을 예상 비용과 함께 추적합니다
  • 사용량 할당량 — 설정 가능한 시간 창(시간당, 일당, 주당) 내에서 모델별, 그룹별 토큰 또는 요청 수 한도를 설정합니다
  • 크레딧 할당 — 모델별 전체 크레딧 예산을 소프트 및 하드 한도로 설정합니다
  • 벤더 측 예산 — 추가적인 안전장치로 벤더에서 바로 사용량 한도를 설정할 수 있습니다
  • 그룹 제한 — AI 기능에 대한 액세스를 특정 사용자 및 그룹으로만 제한합니다

LLM 사용 비용을 계산할 때는 고려해야 할 여러 변동 요인이 있습니다.

간소화된 관점은 다음과 같습니다…

:information_source: 토큰이 무엇이며 어떻게 세어야 하는지 이해하는 것이 중요합니다

  • LLM 모델 및 가격 → 사용하려는 특정 LLM 모델을 식별하고 입력 및 출력 토큰에 대한 최신 가격 정보를 찾습니다
  • 입력 토큰 → 입력 프롬프트의 평균 길이를 토큰 단위로 나타낸 것입니다
  • 출력 토큰 → 모델의 응답을 토큰 단위로 나타낸 것입니다

이제 바로 이 Meta에서 AI 봇 사용 사례를 살펴볼까요?

:warning: 이 계산 과정에서 토큰 사용량, AI 봇 사용자 수, 평균 요청 횟수 등 많은 부분이 단순화되었습니다. 이러한 수치는 일반적인 지침으로만 받아들여야 합니다. 특히 AI 봇에 대해 다양한 실험을 하고 있기 때문입니다.

  1. 내장된 AI 사용량 대시보드(/admin/plugins/discourse-ai/ai-usage)를 사용하여 기능, 모델, 사용자별로 분류된 실제 요청/응답 토큰 사용량을 검토하세요

  2. 평균 응답 토큰은 요청 토큰보다 3배에서 5배 정도 컸습니다 [1]

  3. 평균 사용자 요청 토큰을 85로 가정합니다. 이는 1단락 미만과 동일합니다 [2]

  4. 평균 응답 토큰을 85 x 4 = 340토큰, 즉 3단락 분량으로 가정합니다

  5. OpenAI의 GPT-5.4 mini를 사용할 경우, 입력 토큰 비용은 $0.75 / 1M 토큰 = $0.00000075 / 토큰 x 85 토큰 = 입력 비용 $0.000064입니다

  6. 출력 토큰의 경우 $4.50 / 1M 토큰 = $0.0000045 / 토큰 x 340 토큰 = 출력 비용 $0.00153입니다

  7. 요청당 총 비용은 $0.000064 + $0.00153 = $0.0016입니다

  8. 2024년 2월 동안 약 600명의 사용자가 AI 봇을 사용했으며, 그 달 동안 평균 10건의 요청을 보냈습니다. 이제 이 수치들이 여러분의 커뮤니티와 일치한다고 가정해 봅시다

  9. 이는 2월 AI 봇 비용이 $0.0016 x 600명 x 10건 = $9.56임을 의미합니다

  10. 이를 1년 치 AI 봇 운영 비용으로 extrapolate하면, 선택한 LLM으로 GPT-5.4 mini를 사용할 경우 연간 $9.56 x 12 = $115가 됩니다

더 낮은 비용을 원한다면 GPT-5.4 nano(1M 토큰당 $0.20/$1.25), Gemini 2.5 Flash(1M 토큰당 $0.075/$0.30) 또는 Claude Haiku 4.5와 같은 예산 모델을 고려해 보세요. 이는 위의 예시보다 비용을 75~95%까지 줄일 수 있습니다. 비용이 계속 하락하고 있으므로 제공업체의 최신 가격을 항상 확인하세요.


  1. OpenAI 커뮤니티와 자체 응답 대 요청 토큰 비율을 참고한 추정치입니다 ↩︎

  2. 평균 사용자 요청 토큰 사용량을 살펴보니 20에서 100 이상까지 다양한 수치를 발견했습니다. 100에 가까운 요청이 더 많았고, 이러한 요청은 완전한 문장에 가깝고 봇에게 많은 질문을 하는 잘 다듬어진 프롬프트일 것이라는 가정 하에 이를 포괄적으로 나타내고자 했습니다 ↩︎

9개의 좋아요

We recently shared the following with a customer who was asking about AI search use in Meta and how much that costed us

Last month we did 1104 searches in Meta

  • GPT-4o-mini pricing, which would cost $0.25
  • Using haiku would be $0.53
  • Gemini Flash would be $0.06

We have to pay attention to request tokens which was around 85868 and response tokens which was around 408417 from the LLM

3개의 좋아요

Estimated costs for a month of Image Captions in Meta

  • 1019 calls
  • 55M request tokens
  • 34K response tokens

Which would cost, depending on the LLM:

  • Claude Haiku 3: $13.86
  • GPT-4o Mini: $8.31
  • Gemini 1.5 Flash 8B: $2.07
5개의 좋아요