로컬에 설치된 LLM을 Discourse에 설정하는 방법?

제품 지원
1

여러분, 죄송합니다. 이 글을 보고도 로컬에 설치된 LLM을 표준 설정 UI를 통해 구성할 수 있는지 확인하지 못했습니다.

2

지원되는 API를 노출하는 한 가능할 것이라고 생각합니다.

로컬에 설치할(또는 이미 설치한) 특정 LLM이 있나요?

3

이 주제가 도움이 될 수 있습니다

4

적합한 LLM을 고르는 것 또한 하나의 숙제입니다 - Meta에서 발행한 AI 관련 글을 읽은 후에도 확신이 서지 않았습니다.

Discourse 팀에서 오픈소스 LLM 선택기 같은 도구를 제공해 주시면 정말 도움이 될 것 같습니다. 내부 구조를 잘 아시고, LLM이 Discourse 커뮤니티와 관련된 다양한 유형의 작업에서 뛰어난 성능을 내기 위해 정확히 어떤 능력을 갖추어야 하는지 알고 계시기 때문입니다. 즉, 이 도구/위저드/LLM이 질문을 하거나, 제 커뮤니티에서 LLM에게 수행시키고 싶은 20개 이상의 일반적인 작업 목록에서 켜고 끌 수 있게 해 준 다음, 추천 Top 3를 알려주면 좋겠습니다. (절충하지 않는 최상급 모델: 가장 무겁고 고가의 하드웨어가 필요함; 균형 잡힌 모델: 중급 가격대의 전용 서버가 필요함; 그리고 경량 모델: 소형~중형 커뮤니티의 기본 작업을 처리하며, 20~40달러짜리 VPS에서 실행 가능함).

5

그 질문에 대한 정답을 유지하는 것은 전임 직원이 될 것 같습니다. :rofl:

6

저렴한 옵션을 찾고 계신다면 Gemini 무료 티어가 좋습니다:

Gemini Flash 2.0은 매우 뛰어난 모델이며, 무료 티어에서는 포럼에서 여러 작업을 수행할 수 있는 충분한 사용량을 제공합니다.

7

저희 서버 외부의 어떤 서비스에도 콘텐츠를 전송할 수 없어서 로컬 호스팅을 찾고 있습니다.

저렴한 옵션에 대한 팁, 감사합니다!

8

절충 없이 최고 성능

  • DeepSeek V3 0324
  • Qwen 3 235B A22

균형형

  • Qwen 3 32B / 30B A3B
  • Llama 3.3 70B
  • Qwen 2.5 70B

경량형

unsloth/gemma-3-4b-it-qat-GGUF · Hugging Face 어떨까요? 이 수준에서는 선택이 어렵고, OpenRouter 같은 호스팅된 API를 사용하는 것이 훨씬 경제적입니다.