C’est le nom d’hôte de la machine où vous exécutez vLLM. Il est possible que cela fonctionne également avec une adresse IP sous la forme http://1.1.1.1:1111, mais je ne l’ai pas testé ainsi.
Nous avons quelques tokenizers pour nous aider à limiter la taille des invites avant de les envoyer au LLM. Choisissez celui qui produit les résultats les plus proches du tokenizer utilisé par le modèle que vous exécutez dans vLLM, il n’est pas vraiment nécessaire qu’il corresponde parfaitement.
En cas de doute, laissez celui d’OpenAI ou de Llama3.