أحاول إضافة نموذج لغوي كبير مخصص إلى المكون الإضافي Discourse AI. عندما أضغط على زر “اختبار” ، أحصل على “خطأ في الخادم الداخلي”.
هل هناك طريقة لتصحيح هذا أو الحصول على رسالة خطأ أفضل؟ عندما أدخل إلى صورة Docker وأستخدم curl لـ /v1/models ، يمكنني جلبها بشكل صحيح.
اسم النموذج هو “models/Meta-Llama-3-8B-Instruct.Q6_K.gguf” ولست متأكدًا مما إذا كان يمكن أن تكون هناك مشكلة في الأحرف الخاصة.
تجربة أخرى تعطي: Trying to contact the model returned this error: {"error":{"code":404,"message":"File Not Found","type":"not_found_error"}}
لكنها لا تعرض عنوان URL/النموذج الذي تحاول جلبه، مما قد يساعد في تصحيح الأخطاء.
تم لصق نفس الإعدادات في Open WebUI، والتي تمكنت من الاتصال بكل من نقاط نهاية LLM والاستدلال بشكل صحيح.
ما هو خادم الاستدلال الذي تستخدمه؟ vLLM؟
عند تكوين عنوان URL، أضف المسار /v1/chat/completions في النهاية.
كانت هذه هي المشكلة. لاحظ أنه في برامج LLM، من المعتاد تضمين نقطة النهاية حتى /v1 فقط كعنوان URL. عادةً ما تتم إضافة اختيار /chat/completion وما إلى ذلك بواسطة البرنامج.
أحاول تشغيل واحد على localhost للاختبار، لذا وضعت عنوان URL على النحو التالي: “http://172.17.0.1:8081/v1/chat/completions” وحصلت على خطأ في الخادم الداخلي. أنا قادر على استخدام curl لـ “http://172.17.0.1:8081/v1/models” من حاوية discourse docker، لذا فإن الاتصال يعمل.
هل هناك أي مشاكل أخرى (على سبيل المثال، هل تسمح Discourse بنقاط نهاية LLM غير HTTPS والمنافذ العشوائية)؟
كلاهما يجب أن يعمل.
ما هو الخطأ الذي تراه في /logs؟
آه. لم أكن أعرف عن /logs!
NameError (undefined local variable or method 'tokenizer' for an instance of DiscourseAi::Completions::Dialects::ChatGpt) app/controllers/application_controller.rb:424:in 'block in with_resolved_local
هممم. النموذج الذي يعمل هو نموذج قمت بتكميمه بنفسي. سأحاول تكميم النماذج الأخرى لمعرفة ما إذا كانت مشكلة في تنسيق النموذج.
هل تمكن أي شخص من تشغيل واجهة برمجة تطبيقات DeepSeek؟ أحاول معرفة التعويذة الصحيحة لجعلها تعمل مع Discourse.
لقد نجحت في تشغيلها في Open WebUI وعملاء آخرين.
هناك موضوع حول هذا هنا