로컬에 설치된 LLM을 Discourse에 설정하는 방법?

절충 없이 최고 성능

  • DeepSeek V3 0324
  • Qwen 3 235B A22

균형형

  • Qwen 3 32B / 30B A3B
  • Llama 3.3 70B
  • Qwen 2.5 70B

경량형

unsloth/gemma-3-4b-it-qat-GGUF · Hugging Face 어떨까요? 이 수준에서는 선택이 어렵고, OpenRouter 같은 호스팅된 API를 사용하는 것이 훨씬 경제적입니다.