# VLLM 手动配置

**URL:** <https://meta.discourse.org/t/manual-configuration-for-vllm/330492>\
**Category:** Support\
**Tags:** ai\
**Created:** [2024年十月11日 19:55 UTC](https://meta.discourse.org/t/manual-configuration-for-vllm/330492 "2024-10-11T19:55:09Z")\
**Posts on this page:** 1\
**Showing post:** 4

<div class="post-metadata">

**Author:** ![Falco](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/falco/32/179432_2.png) [@Falco](https://meta.discourse.org/u/Falco)\
**Post date:** [2024年十月11日 20:17 UTC](https://meta.discourse.org/t/manual-configuration-for-vllm/330492/4 "2024-10-11T20:17:54Z")

</div>

> [@Sidi\_Codet](#):
>
> 托管模型的服务URL

这是您运行 vLLM 的机器的主机名。它也可能适用于 IP 地址形式的 `http://1.1.1.1:1111`，但我尚未以此形式进行测试。

> [@Sidi\_Codet](#):
>
> 分词器

我们有几个分词器可以帮助我们在将提示发送到 LLM 之前限制其大小。选择最接近您在 vLLM 中运行的模型所使用的分词器的那个，它不必完全匹配。

如有疑问，请将其保留为 OpenAI 或 Llama3 的分词器。

---

_[View the full topic](https://meta.discourse.org/t/manual-configuration-for-vllm/330492)._