StevePlex
(Steve King)
1
我在 Hugging Face Inference Endpoint 服务（本质上是 AWS）上运行了几个开源 LLM 模型。
对于我测试过的所有模型（llama、phi、gemma 等），我都可以从 Discourse LLM 设置页面进行连接，但推理不起作用。这是错误：
“尝试联系模型时返回此错误：无法将 JSON 主体反序列化为目标类型：在第 1 行第 163 列缺少 inputs”
我做错了什么！？ 非常感谢。
来自 Hugging Face 的视图：
来自 Discourse 的视图：
Falco
(Falco)
2
自从我上次使用他们的 API 以来已经一年多了。现在它兼容 OpenAI 吗？如果是，您可以尝试将 Provider 设置为 OpenAI 并指向他们的端点。
StevePlex
(Steve King)
3
我已经尝试了 Discourse LLM 设置屏幕上几乎所有可用的提供商，包括 OpenAI。
它们要么给出“无法将 JSON 主体反序列化为目标类型”错误，要么给出“内部服务器错误”。
我还尝试了 HF 端点服务上的实际 OpenAI 模型（GPT2！
但那也没有成功。.. 出现类似的错误。
