我可以添加其他的LLM吗?

它与VLLM兼容,您可以配置一个VLLM端点,它应该可以直接使用。

6 个赞