调试添加新的LLM

支持
1

我正在尝试将自定义 LLM 添加到 Discourse AI 插件中。当我按下“测试”按钮时，我收到“内部服务器错误”。

有没有办法调试这个问题或获得更清晰的错误消息？当我进入 Docker 镜像并使用 curl 调用 /v1/models 时，我可以正确获取。

模型名称是“models/Meta-Llama-3-8B-Instruct.Q6_K.gguf”，我不确定是否有特殊字符可能导致问题。

2

另一个尝试给出了：Trying to contact the model returned this error: {"error":{"code":404,"message":"File Not Found","type":"not_found_error"}}

但它没有显示正在尝试获取的 URL/模型，这可能有助于调试。

相同的设置被粘贴到 Open WebUI 中，它能够正确联系两个 LLM 端点并进行推理。

3

您正在使用哪个推理服务器？vLLM？

配置 URL 时，请在末尾添加路径 /v1/chat/completions。

4

这就是问题所在。请注意，在大型语言模型软件中，通常只包含到 /v1 作为端点 URL。然后通常由软件添加 /chat/completion 等的选择。

5

我正在尝试在本地主机上运行一个进行测试，因此将 URL 设置为：“http://172.17.0.1:8081/v1/chat/completions”，但收到内部服务器错误。我能够从 discourse Docker 容器 curl “http://172.17.0.1:8081/v1/models”，因此连接是正常的。

还有其他陷阱吗（例如，Discourse 是否允许 LLM 端点使用非 https 和任意端口）？

6

两者都应该可以工作。

在 /logs 上看到了什么错误？

7

啊。我不知道有 /logs！

NameError (undefined local variable or method 'tokenizer' for an instance of DiscourseAi::Completions::Dialects::ChatGpt) app/controllers/application_controller.rb:424:in 'block in with_resolved_local

嗯。那个能工作的模型是我自己量化的。我将尝试量化其他模型，看看是否是模型格式问题。

8

有人成功使用 DeepSeek API 了吗？我正在尝试弄清楚如何将其与 Discourse 配合使用。

它在 Open WebUI 和其他客户端上运行正常。

9

这里有一个关于它的主题

2 个赞