如何配置 Discourse 以使用本地安装的 LLM?

不妥协

  • DeepSeek V3 0324
  • Qwen 3 235B A22

平衡

  • Qwen 3 32B / 30B A3B
  • Llama 3.3 70B
  • Qwen 2.5 70B

轻量级

也许是 https://huggingface.co/unsloth/gemma-3-4b-it-qat-GGUF?在这个级别上很难,使用托管 API(如 OpenRouter)要经济得多。

4 个赞