Discourse AI - AI 사용

[Saif (Saif Murtaza)]

이 가이드는 Discourse AI 플러그인의 일부인 AI 사용량 페이지를 다룹니다.

필요한 사용자 권한: 관리자

AI 사용량 페이지는 관리자가 커뮤니티가 Discourse AI 기능을 시간에 따라 어떻게 사용하고 있는지를 이해하도록 설계되었습니다. 이는 https://meta.discourse.org/t/estimating-costs-of-using-llms-for-discourse-ai/307243에서 유용할 수 있습니다.

기능

• 시간 범위: 지난 24시간, 지난 주, 지난 달, 사용자 정의 날짜 범위
• Discourse AI 기능별로 선택 가능
• 활성화된 LLM별로 선택 가능
• 요약 미리보기
  • 총 요청 수: Discourse를 통해 LLM에 보낸 모든 요청
  • 총 토큰 수: LLM에 프롬프트를 입력할 때 사용된 모든 토큰
  • 요청 토큰: LLM이 사용자의 입력을 이해하려고 할 때 사용된 토큰
  • 응답 토큰: LLM이 프롬프트에 응답할 때 사용된 토큰
  • 캐시 읽기 토큰: LLM이 성능과 비용을 최적화하기 위해 캐시에서 재사용하는 이전에 처리된 요청 토큰
  • 캐시 쓰기 토큰: 향후 재사용을 위해 캐시에 기록된 요청 토큰
  • 예상 비용: LLM 구성에 추가된 지정된 비용 지표에 기반하여 LLM이 사용한 모든 토큰의 누적 비용
• 토큰 사용량을 보여주는 상호작용 가능한 막대 그래프
• Discourse AI 기능별 토큰, 사용 횟수 및 예상 비용
• LLM별 토큰, 사용 횟수 및 예상 비용
• 사용자별 토큰, 사용 횟수 및 예상 비용

AI 사용량 활성화

사전 요구 사항

데이터가 채워지려면 프로바이더의 하나 이상의 대규모 언어 모델(LLM)을 구성하고 멤버들이 Discourse AI 기능을 사용해야 합니다.

시작하려면 Discourse AI - 대규모 언어 모델(LLM) 설정 페이지를 통해 LLM을 구성할 수 있습니다.

• OpenAI
• Anthropic
• Azure OpenAI
• AWS Bedrock
• Google Gemini
• Mistral
• Groq
• SambaNova
• Open Router
• Cohere
• HuggingFace
• vLLM / 오픈소스 LLM 셀프 호스팅

구성

1. 관리자 설정 → 플러그인 → AI → 설정 탭으로 이동하여 활성화되어 있는지 확인하세요 (discourse ai enabled)
2. AI 플러그인 내에서 사용량 탭으로 이동하세요

기술적 FAQ

토큰이란 무엇이며 어떻게 작동하나요?

• 토큰은 LLM이 텍스트를 이해하고 생성하는 데 사용하는 기본 단위이며, 사용량 데이터는 비용에 영향을 줄 수 있습니다. 자세한 내용은 Discourse AI에서 LLM 사용 비용 추정을 참고하세요.