请帮助我配置 VLLM，在 AI 模型部分的 admin/plugins/discourse-ai/ai-llms/new?llmTemplate=none。
当然，您具体在里面遇到了什么困难？
我不确定这两个选项以及如何使用它们，特别是与 API 相关的部分。
托管模型的服务的 URL
分词器
这是您运行 vLLM 的机器的主机名。它也可能适用于 IP 地址形式的 http://1.1.1.1:1111，但我尚未以此形式进行测试。
我们有几个分词器可以帮助我们在将提示发送到 LLM 之前限制其大小。选择最接近您在 vLLM 中运行的模型所使用的分词器的那个，它不必完全匹配。
如有疑问，请将其保留为 OpenAI 或 Llama3 的分词器。
哦，这个对我来说太复杂了，我宁愿选择Sambanova！
1 个赞