관련 콘텐츠 및 검색용 Discourse AI 활성화 비용 산정

[NateDhaliwal]

@SubStrider

자체 호스팅 LLM의 경우, 일반적으로 필요한 서버 구성/비용은 어느 정도인가요?

자체 호스팅을 원하신다면 GPU가 필요합니다 GPU를 사용하는 것이 더 좋습니다. Ollama 같은 도구를 확인해 보세요.

또한 다음 링크도 참고하세요:

Discourse AI에서 LLM 사용 비용 추정

Discourse AI의 특정 기능을 사용하려면 대규모 언어 모델(LLM) 제공업체를 사용해야 합니다. 각 AI 기능별로 어떤 LLM이 호환되는지 확인해 보세요. 비용이 큰 걱정거리라면, 지출을 관리하는 데 도움이 되는 Discourse AI의 내장 도구가 몇 가지 있습니다: AI 사용량 대시보드 — 기능, 모델, 사용자별 토큰 소비량을 예상 비용과 함께 추적합니다 사용량 할당량 — 설정 가능한 시간 창(시간당, 일당, 주당) 내에서 모델별, 그룹별 토큰 또는 요청 수 한도를 설정합니다 크레딧 할당 — 모델별 전체 크레딧 예산을 소프트 및 하드 한도로 설정합니다 벤더 측 예산 — 추가적인 안전장치로 벤더에서 바로 사용량 한도를 설정할 수 있습니다 그룹 제한 — AI 기능에 대한 액세스를 특정 사용자 및 그룹으로만 제한합니다 LLM 사용 비용을 계산할 때는 고려해야 할 여러 변동 요인이 있습니다. 간소화된 관점은 다…