使用替代AI提供商的选项？

开发
1

@Falco @sam 如果我们想使用设置中未提供的自有 AI 提供商，例如我们自己托管，或者使用像 mendable.ai 这样的服务，有什么选择吗？

2

我们支持 vLLM 和 TGI API 进行 LLM 推理，此外，任何模仿 OpenAI API 的服务都可以通过设置 ai openai gpt4 url 指向它来工作。

2 个赞
3

它看起来与 OpenAI 不完全 是一对一的，但非常接近：

4

在阅读了API后，特别是考虑到我们需要调用newConversation并存储状态，为discourse AI实现一个方言/API端点将需要几天的工作。

据我所知，这是完全可行的，但这是定制工作。如果您愿意赞助，我们可以做到。

我个人不确定这些定制的AI能否在长期内战胜前沿模型，可悲的是，对于Mendable来说，它们可能只是一次GPT-5的发布就会变得相当过时。

即使是像GPT-4 / Claude Opus这样的模型，今天经过仔细打磨，也可能比这表现更好。

@Roman正在致力于允许您通过文件将额外的外部上下文注入到个性化AI中。

今天我们已经可以用定制的个性化AI做一些非常了不起的事情了，例如，您可以轻松地将GitHub助手改编成专门针对SailPoint的：

3 个赞