Discourse AI - 大型语言模型 (LLM) 设置页面

[Discourse]

本指南涵盖了属于 Discourse AI 插件的 LLM 设置页面。

所需用户级别：管理员

专用设置页面旨在将所有与用于 Discourse AI 功能的大型语言模型 (LLM) 相关的内容集中在一个地方。

根据启用的 Discourse AI 功能，可能需要 LLM。请查看每个 Discourse AI 功能以了解 LLM 是否是先决条件。

功能

• 添加具有预填充信息的新模型
• 添加未提及的自定义模型
• 配置 LLM 设置
• 允许为 AI 机器人使用特定的 LLM
  • 查看 AI 机器人的用户名
• 启用视觉支持（取决于模型）
• 配置允许的附件类型
• 设置每组使用配额
• 跟踪输入/输出 token 成本
• 测试
• 保存设置

添加 LLM 连接

1. 前往 管理 → 插件 → AI
2. 前往 LLMs 选项卡
3. 添加新连接，选择您的模型
4. 输入 API 密钥（根据模型，您可能需要手动输入更多字段）并保存
5. (可选) 测试您的连接以确保其正常工作

支持的 LLM

如果您没有看到列出的模型，您可以随时添加自定义选项。我们将持续添加支持的模型。预配置模型是模板——您始终可以使用“手动配置”实现相同的结果。

Anthropic

• Claude Opus 4.6
• Claude Sonnet 4.6
• Claude Haiku 4.5

Google

• Gemini 3 Pro
• Gemini 3 Flash

OpenAI

• GPT-5.4
• GPT-5 Mini
• GPT-5 Nano

Open Router

• DeepSeek V3.2
• Moonshot Kimi K2.5
• xAI Grok 4 Fast
• MiniMax M2.5
• Z-AI GLM-5
• … 还有更多

此外，托管客户可以在设置页面中使用 CDCK 托管的小型 LLM（预配置）。这是一个由 Discourse 托管的开源权重 LLM，可用于驱动 AI 功能。

配置字段

您只会看到与您选择的 LLM 提供商相关的字段。请仔细检查任何预填充的字段是否正确，例如 模型名称

核心字段：

• 显示名称 — 在下拉菜单中显示的友好名称
• 模型名称 — 发送到 API 的模型标识符（例如 claude-sonnet-4-6, gpt-5.2）
• 提供商 — 托管模型的服务（例如 Anthropic、OpenAI、Google、AWS Bedrock、Azure、Open Router 等）
• URL — API 端点 URL（AWS Bedrock 不显示）
• API 密钥 — 通过 AI Secrets 系统配置
• 分词器 (Tokenizer)
• 最大提示词元数 (Max prompt tokens) — 控制提示词修剪以防止请求过大
• 最大输出词元数 (Max output tokens)
• 输入成本 / 输出成本 — 每百万词元的成本，用于使用情况跟踪
• 缓存输入成本 / 缓存写入成本 — 适用于支持提示词缓存的提供商
• 启用视觉 — 启用图像理解（取决于模型）
• 允许的附件类型 — 模型可以处理的文件类型

特定于提供商的字段（根据所选提供商动态显示）：

• AWS Bedrock: 访问密钥 ID (Access Key ID), 角色 ARN (Role ARN), 区域 (Region), 推理/思考选项, 提示词缓存 (Prompt caching)
• Anthropic: 推理选项, 提示词缓存 (Prompt caching)
• OpenAI: 组织 ID (Organization ID), 推理工作量 (Reasoning effort), 服务层级 (Service tier)
• Google: 启用思考 (Enable thinking), 思考级别 (Thinking level)
• Open Router: 提供商顺序 (Provider order), 提供商量化 (Provider quantizations)

配额（初始保存后可用）：

• 可以配置每组使用配额，包括最大词元数、最大使用次数和持续时间

技术常见问题 (FAQ)

什么是分词器 (tokenizer)？

• 分词器将字符串转换为词元 (tokens)，这是模型理解输入所使用的内容。

最大提示词元数 我应该使用什么数字？

• 一个好的经验法则是模型上下文窗口的 50%，上下文窗口是您发送的词元数和它们生成的词元数的总和。如果提示词变得太大，请求将失败。该数字用于修剪提示词并防止这种情况发生

注意事项

• 有时您可能看不到想要使用的模型。虽然您可以手动添加它们，但我们会支持新推出的流行模型。

[qianping_chen (rouin)]

太难了，我根本不知道该怎么做。我希望更新各种 AI 的具体教程，例如 Google 登录设置。

[sam (Sam Saffron)]

在过去的一周里，我们对用户界面进行了大量改进，您可以再试一次吗？

[hameedacpa (Abdelhamid)]

Gemini 2.0 何时会得到支持？

[sam (Sam Saffron)]

得到了相当长一段时间的支持。

[Joe_F (Joe Farrar)]

我似乎遇到一个问题，虽然我已经配置了已托管的CDCK，但仍然无法选择LLM。

这是正常的吗？

[sam (Sam Saffron)]

这里有很多需要解读的地方，您想为哪种功能选择哪种大型语言模型（LLM）？

CDCK LLM 仅适用于非常特定的功能。要查看具体是哪些功能，请前往您的实例上的 /admin/whats-new，然后点击“仅显示实验性功能”。您需要启用它们才能在特定功能上解锁 CDCK LLM。

您在 CDCK LLM 之外定义的任何 LLM 都可用于所有功能。

[AquaL1te]

是否也有一个提供最佳成本/质量平衡的总体概述的主题？或者甚至有一个可以免费供小型社区和基本功能使用的 LLM？我可以深入研究细节并进行尝试。但我时间有点紧。

例如，我只关心垃圾邮件检测和脏话过滤器。我曾免费拥有这些，但那些插件已弃用或即将弃用。如果我能在不付费使用 LLM 的情况下保留此功能，那就太好了。

[Saif (Saif Murtaza)]

@AquaL1te

是否也有一个主题提供了最佳性价比的总体概述？或者，哪些大型语言模型（LLM）可以免费供小型社区使用并提供基本功能？我可以深入研究细节并进行尝试。但我时间有点紧。

我们确实有这个主题，这可能就是您想要的。

What LLM to use for Discourse AI?

It’s important to understand the needs of you as the community admin and your members when choosing a Large Language Model (LLM) to power Discourse AI features. Several factors may influence your decisions: Performance for use-case: Are you looking for the best-performing model? Performance can vary depending on the task (e.g., summarization, search, complex reasoning, spam detection). Assessment is based on the model’s ability to generate correct, relevant, and coherent responses. Context …

[AquaL1te]

搞定了！确实很简单。但对于非技术人员来说，设置起来可能还是有点难。例如，模型名称在设置中是自动设置的，但不是正确的。幸运的是，我在 API 页面的 Claude 的 curl 示例中认出了模型名称，然后它就起作用了

每月垃圾邮件控制的估计成本可能为 30 欧元分（我的论坛不是很大）。所以这是可以接受的！我已在 API 控制台中设置了 5 欧元的限额，以防万一。

[Saif (Saif Murtaza)]

@AquaL1te

例如，模型名称在设置中自动设置了，但不是正确的。

你为 Claude 选择了哪个？显示的错误名称是什么，你又将其更正为什么？

[AquaL1te]

我使用的是Claude 3.5，模型ID默认是claude-3-5-haiku，但我不得不将其更改为claude-3-5-haiku-20241022，否则会出现错误。

[Saif (Saif Murtaza)]

@AquaL1te

我使用的是 Claude 3.5，模型 ID 默认为 claude-3-5-haiku，但我不得不将其更改为 claude-3-5-haiku-20241022，否则会收到错误。

很高兴知道，是的，有时可能会出现脱节。自动填充的信息应作为指导，大多数情况下都能正常工作，但在某些情况下（考虑到所有不同的模型和提供商配置）可能会出现不足，就像您的情况一样。

我已经更新了本指南的 OP。

[jrgong]

@Discourse

• Gemini Flash 2.0

此模型未在 3.4.2 中列出 - 这些预配置仅在 3.5 中可用，我必须手动添加它们吗？

编辑：另外，在使用 Grok 3 模型时，我应该为“Tokenizer”选择哪个选项？

[Falco]

@jrgong

此模型未在 3.4.2 中列出 - 这些预配置仅在 3.5 上可用，我必须手动添加它们吗？

预配置只是模板，您可以通过使用“手动配置”获得相同的结果。

@jrgong

编辑：另外，在使用 Grok 3 模型时，我应该为“分词器”选择哪个选项？

我发现 Gemini 分词器与 Grok 分词器非常接近，所以可以试试那个。

[CraigW (Craig Wright)]

是否可以通过当前的配置管理来使用 IBM WatsonX，还是这需要 Discourse 员工进行额外的开发工作？

[Falco]

IBM WatsonX 是否有任何暴露 OpenAI 兼容的 API？

[CraigW (Craig Wright)]

好问题。快速浏览了一下文档，但没有告诉我太多信息，但这个仓库的存在表明它不直接兼容：GitHub - aseelert/watsonx-openai-api: Watsonx Openai compatible API

[AntiMetaman]

哪些大型语言模型可以免费用于反垃圾邮件？

编辑：不用了，我正在使用 Gemini Flash 2.5。

[pfaffman (Jay Pfaffman)]

我也一直想知道。这似乎是这个问题的最佳答案。

@Saif

• 垃圾邮件检测 / AI 优先级排序 (文本)： 成本效益/速度模型通常就足够了，而且成本效益高（Haiku 3.5、Gemini 2.0 Flash、GPT-4o mini、Llama 3.3）。
• AI 优先级排序 (NSFW 图像检测)： 需要一个具有视觉能力的模型（GPT-4o/mini、Sonnet 3.7、Gemini 2.5 Pro/2.0 Flash、Llama 3.2、特定的 Discourse 托管/支持的模型）。

但也有这个，来自垃圾邮件配置主题的 OP。我认为它只是有点难在所有信息中找到。

@sam

LLM 选择建议

垃圾邮件检测的性能取决于所选的 LLM。

大多数低成本 LLM 都有效，例如：

• GPT-4o-mini
• Claude 3.5 Haiku
• Gemini 2.0 Flash

尝试不同的模型以找到最适合的。通过 /admin/plugins/discourse-ai/ai-llms 配置您的模型。