Como configurar o Discourse para usar um LLM instalado localmente?

Suporte
8

Implacável

  • DeepSeek V3 0324
  • Qwen 3 235B A22

Equilibrado

  • Qwen 3 32B / 30B A3B
  • Llama 3.3 70B
  • Qwen 2.5 70B

Leve

Talvez unsloth/gemma-3-4b-it-qat-GGUF · Hugging Face? É difícil nesse nível, muito mais econômico usar uma API hospedada, como a OpenRouter.

4 curtidas