在选择用于驱动 Discourse AI 功能的大型语言模型 (LLM) 时,了解您作为社区管理员以及您的成员的需求至关重要。
以下因素可能会影响您的决定:
- 用例性能:您是在寻找性能最佳的模型吗?性能可能因任务而异(例如,摘要、搜索、复杂推理、垃圾邮件检测)。评估基于模型生成正确、相关和连贯响应的能力。
- 上下文长度:上下文窗口是模型一次可以“看到”和考虑的文本量。更大的上下文窗口允许处理更多信息(例如,用于摘要的长主题)并在更长的交互中保持连贯性。
- 兼容性:Discourse AI 插件是否开箱即用地支持该模型?是否需要特定的 API 端点或配置?请查看插件文档以了解支持的提供商和模型。
- 语言支持:虽然许多顶级 LLM 都能很好地处理多种语言,但性能可能会有所不同。如果您的社区主要使用英语以外的语言,建议测试该特定语言的模型。
- 多模态能力:某些功能(如 AI Triage(NSFW 检测))需要能够处理图像(视觉)的模型。确保所选模型支持所需的多模态。
- 速度和模式:更大、更强大的模型可能更慢。对于 AI Helper 或 Search 等实时功能,更快的模型可以提供更好的用户体验。某些模型(如 Claude 3.7 Sonnet)提供不同的模式,允许在速度和更深入的推理之间进行权衡。
- 成本:预算通常是关键因素。模型成本因提供商和模型级别而异。成本通常按令牌(输入和输出)计算。更快/更小的模型通常比大型/高性能模型便宜。开源模型通常可以根据托管更具成本效益地运行。
- 隐私顾虑:不同的 LLM 提供商有不同的数据使用和隐私政策。请查看服务条款,特别是关于您的数据是否可能被用于训练目的。一些提供商提供零数据保留选项。
- 开源与闭源:开源模型提供透明度以及自托管或微调的可能性,尽管它们可能需要更多的技术工作。闭源模型通常通过 API 更易于使用,但提供的控制和透明度较少。
为 Discourse AI 功能选择 LLM
LLM 的格局发展迅速。下表提供了目前适合各种 Discourse AI 功能的流行且功能强大的模型的总体概述,按其典型优势和成本情况进行分类。每个类别中的模型按字母顺序列出。
这些是一般性指南。请务必查阅官方 Discourse AI 插件文档,了解最新支持的模型列表和所需配置。性能和成本经常变化;请咨询 LLM 提供商的文档以获取最新详细信息。开源模型的可用性和性能可能取决于特定的提供商或托管设置。
对于托管客户,另一种选择是使用 Discourse 托管的预配置开源 LLM。这些通常可以通过 Admin → Settings → AI →
ai_llm_enabled_models或特定的功能设置来启用。
| 类别 | 模型 | 提供商 | 主要优势/用例 | 注意事项 |
|---|---|---|---|---|
| 顶级性能/推理 | Claude 3.7 Sonnet (Thinking) | Anthropic | 最大推理能力、复杂任务、分析、生成 | 比常规模式消耗更多资源/时间,出色的视觉能力 |
| DeepSeek-R1 | DeepSeek | 强大的推理能力,与顶级模型竞争,编码,数学 | 开源选项,可能比专有同类产品成本更低 | |
| Gemini 2.5 Pro | 高性能,非常大的上下文窗口,强大的多模态 | 出色的全能型选手,与 Google 生态系统集成良好 | ||
| OpenAI o1 / o1-pro | OpenAI | 最先进的推理能力,复杂任务,生成 | 成本最高,o1-pro 可能需要通过 API 实现最大能力 |
|
| 平衡(多用途) | Claude 3.7 Sonnet (Regular) | Anthropic | 高性能,良好的推理能力,大上下文,视觉,更快的模式 | 出色的默认选择,平衡速度和能力 |
| DeepSeek-V3 | DeepSeek | 强大的通用性能,物有所值 | 开源选项,对广泛使用具有成本效益 | |
| GPT-4o | OpenAI | 非常强大的全能型选手,强大的多模态,广泛兼容 | 性能、速度和成本的绝佳平衡 | |
| OpenAI o3-mini | OpenAI | 性价比高,性能和推理能力良好 | 适用于多种任务的灵活、智能推理模型 | |
| 经济高效/速度 | Claude 3.5 Haiku | Anthropic | 极快且成本低廉,适用于简单任务 | 最适合高流量、低延迟需求,如搜索、基本摘要 |
| Gemini 2.0 Flash | 非常快速且经济高效,通用能力强 | 适用于摘要、搜索、助手任务 | ||
| GPT-4o mini | OpenAI | GPT-4o 的快速、经济实惠版本,适用于许多任务 | 适用于更简单功能的成本/性能的良好平衡 | |
| Llama 3.3 (例如,70B) | Meta | 强大的开源模型,通常是经济高效的多用途选项 | 性能因提供商/托管而异,需要检查兼容性 | |
| 视觉能力 | Claude 3.7 Sonnet | Anthropic | 强大的视觉能力(两种模式) | AI Triage/NSFW 检测所需 |
| Gemini 2.5 Pro / 2.0 Flash | 强大的视觉能力 | AI Triage/NSFW 检测所需 | ||
| GPT-4o / GPT-4o mini | OpenAI | 集成的文本和视觉能力 | AI Triage/NSFW 检测所需 | |
| Llama 3.2 | Meta | 开源视觉能力 | 需要检查兼容性/托管/提供商支持 | |
| Discourse Hosted LLM | Discourse | 为托管站点预配置的视觉模型 | 检查特定功能设置(例如,NSFW 检测) | |
| Qwen-VL / 其他 | 各种 | 查看 Discourse AI 插件以获取具体支持的视觉模型 | 配置可能有所不同 |
通用推荐映射(简化):
- AI Bot(复杂问答、角色扮演): 顶级性能/推理模型(Claude 3.7 Sonnet - Thinking、R1、Gemini 2.5 Pro、o1-pro)或强大的平衡模型(GPT-4o、Claude 3.7 Sonnet - Regular、o3-mini)。
- AI Search: 经济高效/速度模型(Haiku 3.5、Gemini 2.0 Flash、GPT-4o mini、Llama 3.3)或用于稍好理解的平衡模型(GPT-4o、DeepSeek-V3)。
- AI Helper(标题建议、校对): 经济高效/速度模型或平衡模型。通常首选速度。Claude 3.7 Sonnet (Regular) 或 GPT-4o mini 是不错的选择。Llama 3.3 也可以在这里很好地工作。
- 摘要: 平衡模型(Claude 3.7 Sonnet - Regular、GPT-4o、o3-mini、DeepSeek-V3)或经济高效模型(Gemini 2.0 Flash、Llama 3.3)。如果预算允许,长上下文窗口(Gemini 2.5 Pro、Sonnet 3.7)对长主题有益。
- 垃圾邮件检测 / AI Triage(文本): 经济高效/速度模型通常足够且成本效益高(Haiku 3.5、Gemini 2.0 Flash、GPT-4o mini、Llama 3.3)。
- AI Triage(NSFW 图像检测): 需要视觉能力模型(GPT-4o/mini、Sonnet 3.7、Gemini 2.5 Pro/2.0 Flash、Llama 3.2、特定的 Discourse 托管/支持模型)。
请记住在 Discourse 管理员设置的相应 AI 功能下配置所选的 LLM。