Questo è il nome host della macchina su cui stai eseguendo vLLM. Potrebbe funzionare anche con un IP nella forma http://1.1.1.1:1111, ma non l’ho testato in questo modo.
Abbiamo alcuni tokenizer per aiutarci a limitare la dimensione dei prompt prima di inviarli all’LLM. Scegli quello che produce risultati più vicini al tokenizer utilizzato dal modello che stai eseguendo in vLLM, non è necessario che sia una corrispondenza perfetta.
In caso di dubbio, lascialo come quello di OpenAI o Llama3.