如何添加一个连接到自托管 LLM 的新聊天机器人？

[Isambard]

每月 GPU 闲置时至少会增加 5 美元的额外电费——尽管实际上，由于我已经将 LLM 用于其他目的，因此对于 discourse 来说，增量成本为零。

但对于小型论坛和低使用量来说，使用 LLM 作为服务肯定更经济。不过，对于 Discourse 的托管产品规模而言，我怀疑内部托管（并在此领域积累可能很重要的知识）可能是有意义的。