لدي العديد من نماذج LLM مفتوحة المصدر تعمل على خدمة Hugging Face Inference Endpoint (بشكل أساسي AWS)..
لجميع النماذج التي اختبرتها (llama، phi، gemma، إلخ).. أستطيع الاتصال من صفحة إعدادات Discourse LLM، لكن الاستدلال لا يعمل. إليك الخطأ:
“محاولة الاتصال بالنموذج أعادت هذا الخطأ: فشل في إلغاء تسلسل نص JSON إلى النوع المستهدف: حقل مفقود
inputsفي السطر 1 العمود 163”
ماذا أفعل بشكل خاطئ !؟ شكراً جزيلاً..
عرض من Hugging Face:
عرض من Discourse:
لقد مر أكثر من عام منذ آخر مرة جربت فيها واجهة برمجة التطبيقات الخاصة بهم. هل هي متوافقة مع OpenAI حاليًا؟ إذا كان الأمر كذلك، يمكنك محاولة تعيين Provider إلى OpenAI والإشارة إلى نقطة النهاية الخاصة بهم.
لقد جربت معظم مقدمي الخدمة المتاحين على شاشة إعداد Discourse LLM، بما في ذلك OpenAI..
إما أنهم يعطون خطأ “فشل في إلغاء تسلسل نص JSON إلى النوع المستهدف” أو “خطأ في الخادم الداخلي”.
لقد جربت أيضًا نموذج OpenAI فعليًا على خدمة نقطة نهاية HF (GPT2! 
ولكن هذا لم ينجح. .. نفس النوع من الأخطاء.
