配置 OpenRouter 语言模型

文档 集成
1

:bookmark: 本指南介绍如何为 OpenRouter 配置 API 密钥，以启用需要第三方 LLM 密钥的 Discourse AI 功能。

:person_raising_hand: 所需用户级别：管理员

在本指南中，我们将配置 OpenRouter - 一项通过统一 API 提供对多个大型语言模型访问的服务。

注意：您需要一个 OpenRouter 的套餐和已配置的 API 密钥。

获取 API 密钥

  1. 访问 OpenRouter
  2. 注册一个账户
  3. 导航到您的仪表板以查找您的 API 密钥

OpenRouter 在 Discourse AI 中支持哪些模型？

Discourse AI 目前支持 OpenRouter 上的所有模型，包括：

  • Llama 3.3 70B（最多 128k 个 token）
  • Gemini Flash 1.5 Exp（最多 1M 个 token）

以及 OpenRouter 平台提供的许多其他模型。

将 API 密钥用于 Discourse AI

  1. 转到 Admin → Plugins → AI → LLMs 选项卡
  2. 在“手动配置”上点击 设置 按钮
  3. 配置以下设置：
  • Provider：选择“OpenRouter”
  • Model ID：输入模型 ID（例如，“meta-llama/llama-3.3-70b-instruct”）
  • API Key：您的 OpenRouter API 密钥
  • Endpoint URL：https://openrouter.ai/api/v1/chat/completions
  • Tokenizer：使用 OpenAiTokenizer

高级配置选项

Discourse AI 中的 OpenRouter 支持其他配置选项：

  1. Provider Order：您可以指定要尝试的提供商的顺序（逗号分隔的列表）
    示例：“Google, Amazon Bedrock”

  2. Provider Quantizations：指定量化首选项（逗号分隔的列表）
    示例：“fp16,fp8”

我应该禁用原生工具支持还是不禁用？

OpenRouter 上的一些模型不支持原生工具，在这种情况下，您应该禁用原生工具，以便仍然可以使用基于 XML 的工具。此外，性能各不相同，因此您应该测试 XML 或原生工具是否能为模型提供更好的结果。

  • 启用“禁用原生工具”以使用基于 XML 的工具实现
  • 保持禁用状态以使用原生工具实现
7 个赞