是否有办法添加非列表中 LLM 的 API 密钥？
我们使用一个名为 Deepseek 的 LLM，并希望集成它。已经有了 API 密钥等。
2 个赞
据我所知，不支持，因为 Discourse 可能只支持列出的那些。
如果我错了，欢迎任何人反驳我。
1 个赞
它与VLLM兼容，您可以配置一个VLLM端点，它应该可以直接使用。
6 个赞
太棒了！！
非常感谢。我会试试的。
2 个赞
3.3 版本的一大重点是支持几乎所有现有的现代 LLM，我们终于实现了这一目标，正好赶上开放权重 LLM 赶上闭源模型。
如果您在配置 DeepSeek 实例时需要帮助，请告诉我，此功能是全新的，我们仍在更新所有文档以反映其新功能。
2 个赞
是的，我确实需要帮助。我看了看，但没有看到如何在不使用 VLLM 的情况下添加它。VLLM 是另一个我希望避免的开销，因为它有额外的要求。
如果不仅能集成 Deepseek，还能集成许多其他开源 LLM，那就太好了。我认为这才是 LLM 竞赛的发展方向。
从我们看到的情况来看，公司不愿意将他们的数据交给“云”。允许他们使用 GPT4ALL、HuggingFace 等工具运行本地实例的开源模型，将成为首选模型。
谢谢。
1 个赞
是的，我同意这一点，这就是为什么我们从一开始就支持运行您自己的 LLM。
什么？
vLLM 是最受欢迎的推理引擎，它远非“开销”，因为使用它进行部署意味着您将获得比开发人员几天内可以编写的任何拼凑的 Python 脚本更快的推理速度，并且对于大多数模型来说，只需一个简单的 docker run --gpus all vllm/vllm-openai:latest --model deepseek-ai/DeepSeek-Coder-V2-Instruct 命令即可完成。
我们的实现将与任何符合通常的 OpenAI 事实标准 的 API 一起工作，因此只要您使您的 API 符合预期，您就可以在没有 vLLM 或 Hugging Face TGI 的情况下运行它。
1 个赞
谢谢，根据我的理解（可能我理解错了），我是否需要一个新的 Droplet [Digital Ocean]（也称为 VPS）来部署 VLLM？或者它可以部署在我托管 Discourse 实例的同一个 Droplet 上吗？
如果可以部署在同一个实例上，它会和 Discourse 在同一个目录还是单独的目录？
再次感谢。
您当前的 Discourse 站点运行的是哪个精确的 Droplet？是 6 美元的那个吗？
15美元的那个。我认为它有2GB内存。测试完成后，我将对其进行扩展。
谢谢
嗯，你知道你想运行的这个Deepseek模型，一个液滴（droplet）的运行成本将是每月10000美元吗？
4 个赞
我猜 @oga 想使用官方的 Deepseek API 服务，而不是自行部署开源模型。
Deepseek 的官方 API 与 OpenAI 的 API 兼容，因此只需在 admin/plugins/discourse-ai/ai-llms 下添加一个新的 LLM 即可。
3 个赞
我们正在尝试做的正是如此。我们正在建立一个平台，用于培训孩子们和人们如何编写有效的提示，但我们希望在一个我们可以监控他们提示内容的平台上进行。
让我试试看。部署一个开源模型来实现这一点成本太高。
谢谢。
1 个赞
我的天呐！！这不是我们想要的，也不是我们能负担得起的。
1 个赞