在 Discourse AI 中使用哪个 LLM?

在选择用于驱动 Discourse AI 功能的大型语言模型 (LLM) 时,了解您作为社区管理员以及您的成员的需求至关重要。

以下因素可能会影响您的决定:

  1. 用例性能:您是在寻找性能最佳的模型吗?性能可能因任务而异(例如,摘要、搜索、复杂推理、垃圾邮件检测)。评估基于模型生成正确、相关和连贯响应的能力。
  2. 上下文长度:上下文窗口是模型一次可以“看到”和考虑的文本量。更大的上下文窗口允许处理更多信息(例如,用于摘要的长主题)并在更长的交互中保持连贯性。
  3. 兼容性:Discourse AI 插件是否开箱即用地支持该模型?是否需要特定的 API 端点或配置?请查看插件文档以了解支持的提供商和模型。
  4. 语言支持:虽然许多顶级 LLM 都能很好地处理多种语言,但性能可能会有所不同。如果您的社区主要使用英语以外的语言,建议测试该特定语言的模型。
  5. 多模态能力:某些功能(如 AI Triage(NSFW 检测))需要能够处理图像(视觉)的模型。确保所选模型支持所需的多模态。
  6. 速度和模式:更大、更强大的模型可能更慢。对于 AI Helper 或 Search 等实时功能,更快的模型可以提供更好的用户体验。某些模型(如 Claude 3.7 Sonnet)提供不同的模式,允许在速度和更深入的推理之间进行权衡。
  7. 成本:预算通常是关键因素。模型成本因提供商和模型级别而异。成本通常按令牌(输入和输出)计算。更快/更小的模型通常比大型/高性能模型便宜。开源模型通常可以根据托管更具成本效益地运行。
  8. 隐私顾虑:不同的 LLM 提供商有不同的数据使用和隐私政策。请查看服务条款,特别是关于您的数据是否可能被用于训练目的。一些提供商提供零数据保留选项。
  9. 开源与闭源:开源模型提供透明度以及自托管或微调的可能性,尽管它们可能需要更多的技术工作。闭源模型通常通过 API 更易于使用,但提供的控制和透明度较少。

为 Discourse AI 功能选择 LLM

LLM 的格局发展迅速。下表提供了目前适合各种 Discourse AI 功能的流行且功能强大的模型的总体概述,按其典型优势和成本情况进行分类。每个类别中的模型按字母顺序列出。

:warning: 这些是一般性指南。请务必查阅官方 Discourse AI 插件文档,了解最新支持的模型列表和所需配置。性能和成本经常变化;请咨询 LLM 提供商的文档以获取最新详细信息。开源模型的可用性和性能可能取决于特定的提供商或托管设置。

对于托管客户,另一种选择是使用 Discourse 托管的预配置开源 LLM。这些通常可以通过 Admin → Settings → AI → ai_llm_enabled_models 或特定的功能设置来启用。

类别 模型 提供商 主要优势/用例 注意事项
顶级性能/推理 Claude 3.7 Sonnet (Thinking) Anthropic 最大推理能力、复杂任务、分析、生成 比常规模式消耗更多资源/时间,出色的视觉能力
DeepSeek-R1 DeepSeek 强大的推理能力,与顶级模型竞争,编码,数学 开源选项,可能比专有同类产品成本更低
Gemini 2.5 Pro Google 高性能,非常大的上下文窗口,强大的多模态 出色的全能型选手,与 Google 生态系统集成良好
OpenAI o1 / o1-pro OpenAI 最先进的推理能力,复杂任务,生成 成本最高,o1-pro 可能需要通过 API 实现最大能力
平衡(多用途) Claude 3.7 Sonnet (Regular) Anthropic 高性能,良好的推理能力,大上下文,视觉,更快的模式 出色的默认选择,平衡速度和能力
DeepSeek-V3 DeepSeek 强大的通用性能,物有所值 开源选项,对广泛使用具有成本效益
GPT-4o OpenAI 非常强大的全能型选手,强大的多模态,广泛兼容 性能、速度和成本的绝佳平衡
OpenAI o3-mini OpenAI 性价比高,性能和推理能力良好 适用于多种任务的灵活、智能推理模型
经济高效/速度 Claude 3.5 Haiku Anthropic 极快且成本低廉,适用于简单任务 最适合高流量、低延迟需求,如搜索、基本摘要
Gemini 2.0 Flash Google 非常快速且经济高效,通用能力强 适用于摘要、搜索、助手任务
GPT-4o mini OpenAI GPT-4o 的快速、经济实惠版本,适用于许多任务 适用于更简单功能的成本/性能的良好平衡
Llama 3.3 (例如,70B) Meta 强大的开源模型,通常是经济高效的多用途选项 性能因提供商/托管而异,需要检查兼容性
视觉能力 Claude 3.7 Sonnet Anthropic 强大的视觉能力(两种模式) AI Triage/NSFW 检测所需
Gemini 2.5 Pro / 2.0 Flash Google 强大的视觉能力 AI Triage/NSFW 检测所需
GPT-4o / GPT-4o mini OpenAI 集成的文本和视觉能力 AI Triage/NSFW 检测所需
Llama 3.2 Meta 开源视觉能力 需要检查兼容性/托管/提供商支持
Discourse Hosted LLM Discourse 为托管站点预配置的视觉模型 检查特定功能设置(例如,NSFW 检测)
Qwen-VL / 其他 各种 查看 Discourse AI 插件以获取具体支持的视觉模型 配置可能有所不同

通用推荐映射(简化):

  • AI Bot(复杂问答、角色扮演): 顶级性能/推理模型(Claude 3.7 Sonnet - Thinking、R1、Gemini 2.5 Pro、o1-pro)或强大的平衡模型(GPT-4o、Claude 3.7 Sonnet - Regular、o3-mini)。
  • AI Search: 经济高效/速度模型(Haiku 3.5、Gemini 2.0 Flash、GPT-4o mini、Llama 3.3)或用于稍好理解的平衡模型(GPT-4o、DeepSeek-V3)。
  • AI Helper(标题建议、校对): 经济高效/速度模型或平衡模型。通常首选速度。Claude 3.7 Sonnet (Regular) 或 GPT-4o mini 是不错的选择。Llama 3.3 也可以在这里很好地工作。
  • 摘要: 平衡模型(Claude 3.7 Sonnet - Regular、GPT-4o、o3-mini、DeepSeek-V3)或经济高效模型(Gemini 2.0 Flash、Llama 3.3)。如果预算允许,长上下文窗口(Gemini 2.5 Pro、Sonnet 3.7)对长主题有益。
  • 垃圾邮件检测 / AI Triage(文本): 经济高效/速度模型通常足够且成本效益高(Haiku 3.5、Gemini 2.0 Flash、GPT-4o mini、Llama 3.3)。
  • AI Triage(NSFW 图像检测): 需要视觉能力模型(GPT-4o/mini、Sonnet 3.7、Gemini 2.5 Pro/2.0 Flash、Llama 3.2、特定的 Discourse 托管/支持模型)。

请记住在 Discourse 管理员设置的相应 AI 功能下配置所选的 LLM。

17 个赞