VLLM 手动配置

支持
4

这是您运行 vLLM 的机器的主机名。它也可能适用于 IP 地址形式的 http://1.1.1.1:1111，但我尚未以此形式进行测试。

我们有几个分词器可以帮助我们在将提示发送到 LLM 之前限制其大小。选择最接近您在 vLLM 中运行的模型所使用的分词器的那个，它不必完全匹配。

如有疑问，请将其保留为 OpenAI 或 Llama3 的分词器。