내부 전용으로 Discourse AI 설정하는 방법

지원
1

Discourse AI를 외부 LLM API에 연결하여 사용하고 있으며, 몇 가지 확장 기능(추가 비용 발생)도 함께 사용 중입니다.

이 때문에 해당 확장 기능을 사용하지 않고, 포럼 내부 검색, 요약, 또는 포럼 내에서만 작동하는 기타 기능처럼 LLM 자체에만 의존하도록 설정하고 싶습니다.

주된 이유는 유료 추가 기능(예: 외부 웹 검색)의 비용을 줄이기 위함이며, 이러한 방식으로 설정하는 방법에 대한 안내를 구합니다.

감사합니다.

수정:

제공업체로부터 답변을 받았는데, AI가 BBC와 Reuters 등 출처를 인용했기 때문에 웹 검색으로 청구되었으며, 이는 모델의 증거/검색 모드를 자동으로 트리거했다고 합니다.

즉, 이는 Discourse 설정과 무관하며, 제공업체 측에서 이 동작을 비활성화할 방법이 없다는 뜻인가요?

대안이 있을까요?

제공업체는 "사고 과정"이 적은 모델로 전환하고, flash 또는 instinct 모델을 피하라고 제안했지만, 그렇게 하면 추론 및 계산 능력이 감소하게 됩니다.

**이 메시지는 번역 도구를 사용하여 태국어로 번역되었으므로, 불분명하거나 약간 부정확한 부분이 있을 수 있어 미리 양해 부탁드립니다.

2

확장 기능(extensions)이 정확히 무엇을 의미하는지 궁금합니다. 웹 검색을 위한 기능인 건가요?

저는 Gemini를 Google Cloud에서 사용하도록 설정하여(Gemini on Google Cloud) Discourse AI 기능을 모두 실행하는 자체 호스팅 사이트 2개를 운영하고 있습니다. 웹 리서처에는 Google Custom Search Engine API를 사용 중이며(무료 쿼리 100회/일)요. 요약이나 gist 생성 등 가능한 한 많은 작업에는 Gemini 2.5 flash lite를, 번역에는 2.5 flash를, 그리고 더 구체적이고 추론이 필요한 작업에는 다양한 다른 Gemini 모델(예: Gemini flash image)을 사용하고 있습니다.

아래 토픽이 관심 있으실 것 같아 공유합니다.

3

아, 이제 이해했어요 — 설명해 주셔서 감사합니다! 네, 저는 '확장 기능’을 웹 검색이나 추가 AI 기능 같은 의미로 생각하고 있었어요.

제 환경에서는 Xiaomi의 MiMo API를 사용 중인데, 월 1,000건의 요청을 사용할 수 있습니다. 추가 확장 기능의 사용은 사용량에 따라 별도 요금이 부과되며, 안타깝게도 이를 비활성화할 수 없습니다. 제공업체에 따르면 이는 프롬프트의 길이와 복잡도에 따라 달라진다고 합니다. 예를 들어, 저나 제 사용자들이 "최신 뉴스 검색해 줘"라고 입력하든, 제 포럼에 해당 내용이 있든 없든, 모델은 병렬로 웹 검색을 수행합니다. 저는 이 추가 비용에 대해 통제를 할 수 있는 방법이 전혀 없습니다.

Google Custom Search Engine API 키는 입력하지 않았습니다 — 해당 항목은 비워 두고 Forum Helper의 기본 설정을 그대로 사용하고 있어요.

이 문제를 지능적으로 처리할 방법이 있을까요? 제공업체 수준에서 크레딧 한도를 설정하면, 제가 실행 중인 모든 모델이 제한을 받게 됩니다.

또, 제 영어가 따라가기 힘들 수 있다면 죄송합니다 — 번역기를 사용해 소통하고 있습니다 :slightly_smiling_face:

4

여기서는 모국어로 게시물을 작성할 수 있습니다. 콘텐츠 현지화 및 AI 번역이 활성화되어 있습니다.

5

언어 사용에 대한 조언을 주셔서 감사합니다.

제가 겪고 있는 문제를 요약해 드리겠습니다. (쉽게 설명합니다)

  • 저는 자체 호스팅된 웹사이트에서 Discourse AI를 사용하고 있습니다.
  • 사용 중인 LLM은 Xiaomi의 MiMo API이며, 월 1,000회 요청 할당량이 제공됩니다.
  • 문제는 일부 확장 기능(예: 웹 검색)을 사용할 경우 사용량에 따라 추가 비용이 청구되며, 서비스 제공자 측에서 이를 비활성화할 수 없다는 점입니다.

서비스 제공자는 다음과 같이 설명했습니다.

  • 비용은 프롬프트의 길이와 특성에 따라 결정됩니다.
  • 예를 들어, 저나 사용자가 “…에 대한 최신 뉴스를 찾아주세요”라고 입력할 경우, 제 포럼에 해당 데이터가 있든 없든 모델이 자동으로 웹에서 데이터를 검색할 수 있습니다.

이 부분이 저에게 다음과 같은 문제를 일으키고 있습니다.

  • 사용자가 프롬프트를 직접 입력하기 때문에 비용 통제가 어렵습니다.

저는 Google Custom Search Engine API 키를 입력하지 않았습니다.

그리고 이 부분은 비워 두었고, Forum Helper의 기본값(default)을 사용하고 있습니다.

제가 서비스 제공자 측에서 크레딧을 제한하려고 하면

  • 현재 사용 중인 모든 모델에 제한이 적용됩니다.
  • 특정 모델이나 특정 기능만 제한할 수 없습니다.

제가 확인한 로그의 예시는 다음과 같습니다.

Generation details
Model: MiMo-V2-Flash
Model ID: xiaomi/mimo-v2-flash
Provider: Xiaomi

First token latency: 12.77 seconds
Throughput: 1.5 tokens/second
Finish reason: stop
Data policy: No data training | Policy

Tokens:
- Prompt: 38065
- Completion: 20

Web search:
- Results: 5

Costs:
- Subtotal: 0
- Web search cost: 0.02
- Final cost: 0.02

Creator: hidden 
Generation ID: hidden
6

로컬 LLM을 염두에 두고 계신 것이라면, 저는 서버 비용 증가를 계획하고 있지 않습니다. 20명 이상의 사용자가 동시에 접속할 경우 매우 많은 처리량이 필요하기 때문입니다. 따라서 이 계획은 채택하지 않았습니다. 대신 Groq, OpenRouter와 같은 외부 API를 사용하여 비용을 훨씬 절약하고, 이 부분의 비용을 관리하는 데 집중하고 싶습니다.

7

지원해 주셔서 감사합니다.

이미 답을 찾았습니다. 제가 직접 테스트하고 관찰한 결과, 내가 사용한 모든 모델(적어도 내가 시도해 본 모든 모델)에서 웹 검색이 트리거되었습니다. 모델을 전환한 후에도 마찬가지였습니다. 이는 제공사 측의 문제인 것으로 보입니다.

문제는 웹 검색이 필요하지 않은 경우에도 적절히 제어하거나 완전히 비활성화할 수 없는 원치 않는 숨겨진 비용이 된다는 점입니다.

이미 계정을 정리하고 해당 제공사와의 서비스를 취소했으며, 이제 다른 제공사를 찾고 있습니다.

다시 한번 감사합니다.