هذا هو اسم المضيف للجهاز الذي تقوم بتشغيل vLLM عليه. قد يعمل أيضًا باستخدام عنوان IP بالشكل http://1.1.1.1:1111 ولكني لم أختبره بهذه الطريقة.
لدينا عدد قليل من المُرمّزات لمساعدتنا في تحديد حجم المطالبات قبل إرسالها إلى LLM. اختر أيًا ينتج أقرب النتائج إلى المُرمّز المستخدم بواسطة النموذج الذي تقوم بتشغيله في vLLM، لا يلزم أن يكون مطابقًا تمامًا.
عند الشك، اتركه كما هو الخاص بـ OpenAI أو Llama3.