如何配置 Discourse 以使用本地安装的 LLM？

支持
1

抱歉，各位，我无法从这篇文章中弄清楚是否可以通过标准设置界面配置本地安装的大型语言模型（LLM）。

2 个赞
2

我认为只要它公开了一个受支持的API，就应该是可行的。

您计划（或已经）在本地安装哪个特定的LLM？

4 个赞
3

这个主题可能会有帮助

6 个赞
4

选择合适的 LLM 是另一项挑战——即使阅读了您在 Meta 上的 AI 相关文章，我仍然不确定。

我猜想，来自 Discourse 团队的某个 开源 LLM 选择器 工具会非常有帮助——因为您了解其内部机制，并且确切知道 LLM 必须具备哪些能力才能在与 Discourse 社区相关的各种任务中表现出色。因此，该工具/向导/LLM 会提出问题，或者让我勾选/取消勾选我希望 LLM 在我的社区中执行的 20 多项典型任务列表，然后推荐前 3 名（不妥协但最耗费资源且需要昂贵硬件；平衡型，需要中等价位的专用服务器；以及轻量型，适用于中小型社区的基本任务，可以在 20-40 美元的 VPS 上运行）。

2 个赞
5

我认为维护这个问题的正确答案将是一份全职工作。 :rofl:

5 个赞
6

如果您正在寻找免费的选项，Gemini 免费套餐是最佳选择：

Gemini Flash 2.0 是一个功能强大的模型，免费套餐提供的用量足以在您的论坛上完成许多事情。

5 个赞
7

正在寻找本地托管，因为我无法将我们的任何内容发送到我们服务器之外的任何服务。

关于廉价选项，谢谢你的提示！

4 个赞
8

不妥协

  • DeepSeek V3 0324
  • Qwen 3 235B A22

平衡

  • Qwen 3 32B / 30B A3B
  • Llama 3.3 70B
  • Qwen 2.5 70B

轻量级

也许是 https://huggingface.co/unsloth/gemma-3-4b-it-qat-GGUF？在这个级别上很难，使用托管 API（如 OpenRouter）要经济得多。

4 个赞