我正在尝试将自定义 LLM 添加到 Discourse AI 插件中。当我按下“测试”按钮时，我收到“内部服务器错误”。有没有办法调试这个问题或获得更清晰的错误消息？当我进入 Docker 镜像并使用 curl 调用 /v1/models 时，我可以正确获取。模型名称是“models/Meta-Llama-3-8B-Instruct.Q6_K.gguf”，我不确定是否有特殊字符可能导致问题。

调试添加新的LLM

Lilly 2024 年8 月 23 日 14:11 9

这里有一个关于它的主题

3 个赞