为什么选择外部AI而非内部系统?

您好,

我写信是想咨询一下关于 Discourse 的相关内容功能。我注意到它依赖于外部 AI。为什么选择这种方法,而不是开发一个基于标签或类别的内部系统来直接提供相关内容?我看到过一个选项可以建议同一类别的帖子,但没有针对标签的。

是否有官方的 Discourse 插件或组件提供此功能?我想感谢您日常的工作以及为平台带来的持续创新。

3 个赞

注意:我不是 Discourse 员工,也不是 OpenAI 员工,而是 OpenAI 论坛(ChatGPT 和 GPT 4 的创建者)的版主,并且在开发期间就一直在使用许多 Discourse AI 功能。

您提到的方法是语法搜索,这是语义搜索,它使用嵌入而不是关键字。

在 Google 上搜索 how does semantic search work 会显示许多文章,这里有一篇我认为很多人会喜欢的文章:

是的,它是 Discourse AI 插件 的一部分,特别是 Semantic Related Topics

5 个赞

关于使用外部资源,您也可以选择在本地运行您的人工智能语言模型(LLM):

但是您为某个项目做过这件事吗?

这需要您拥有或租赁特别令人印象深刻的硬件!

尝试自己运行一些小型语言模型(您可能会考虑托管的),看看您有多么印象深刻:

您的体验可能会有所不同,但依我之见,您至少需要托管一个拥有 700 亿参数的模型,这在本地托管的成本会相当高。

供参考,GPT 3.5 据说是一个拥有 1750 亿参数的模型,而 GPT 4 拥有近 2 万亿参数(他们是这么说的)::sweat_smile:

我编写了这个插件:

它有一个人工智能标记功能。根据我的经验,您需要 GPT 4 Turbo 才能使其正常工作(而且它确实效果很好!)。

如果您打算本地托管像这些一样强大的模型,您将需要非常雄厚的财力。

这就是为什么使用外部人工智能语言模型 API 仍然是一个有吸引力的、按需付费的选项,特别是因为您只需为实际使用的调用付费,而不是为昂贵且有闲置时间的基础设施付费。

当然,如果隐私是主要且足够重要的考虑因素,这可能会改变计算方式。

5 个赞

@EricGT @merefield 感谢您迅速回复并提供信息。我理解并重视 AI 为 Discourse 平台带来的创新。然而,我担心欧洲严格的数据保护要求,尤其是在法国的 GDPR。咨询律师以确保符合我们的隐私政策可能会非常昂贵。

这就是为什么我想知道是否有可用的 Discourse 插件,可以在无需外部 AI 的情况下提供相关内容功能。

此外,我想与您分享我的个人经历:我长期以来一直犹豫是否要启动我的 Discourse 论坛,担心尽管有可用的指南,我可能无法正确处理。ChatGPT 的出现改变了这一切。它改变了我的生活,真是不可思议:在它的帮助下,我能够承担以前不敢承担的项目。这是一场革命,为我打开了新的前景,并让我能够自信地前进。

再次感谢您所做的一切工作和持续的支持。

1 个赞

如前所述,AI 插件可以使用外部服务,或者您可以创建自己的个人云系统来执行相同的任务。但是,运行自己的 AI 服务成本高昂,需要额外的维护,并且无法提供与外部服务相当的结果。

这是 AI 技术本身的局限性,使其难以维护和运行,而不是 Discourse 可以解决的问题。Discourse 插件对于您使用的是外部服务还是“内部”服务是无关紧要的。

在当前情况下完全不相关。

但是……请律师比自托管LLM便宜得多。

2 个赞