من فضلك، أحتاج إلى مساعدة في التكوين اليدوي لـ VLLM في قسم نماذج الذكاء الاصطناعي admin/plugins/discourse-ai/ai-llms/new?llmTemplate=none.
بالتأكيد، ما الذي تواجهه صعوبة فيه بالضبط؟
لست متأكدًا من هذين الخيارين وكيفية استخدامهما، خاصة فيما يتعلق بـ API.
عنوان URL الخاص بالخدمة التي تستضيف النموذج
المُميِّز (Tokenizer)
هذا هو اسم المضيف للجهاز الذي تقوم بتشغيل vLLM عليه. قد يعمل أيضًا باستخدام عنوان IP بالشكل http://1.1.1.1:1111 ولكني لم أختبره بهذه الطريقة.
لدينا عدد قليل من المُرمّزات لمساعدتنا في تحديد حجم المطالبات قبل إرسالها إلى LLM. اختر أيًا ينتج أقرب النتائج إلى المُرمّز المستخدم بواسطة النموذج الذي تقوم بتشغيله في vLLM، لا يلزم أن يكون مطابقًا تمامًا.
عند الشك، اتركه كما هو الخاص بـ OpenAI أو Llama3.
OMG، هذا معقد جدًا بالنسبة لي في الوقت الحالي، سأختار Sambanova بدلاً من ذلك!
إعجاب واحد (1)