ناقشت هذا الأمر مع @falco أيضًا، لكن أرغب في التحذير من أن هذا حلٌ حادّ للغاية.
بشكل خاص، نحن بالفعل ندرج اسم المستخدم في رسالة “المستخدم”:
وهذا مرئي في سجلات واجهة برمجة تطبيقات الذكاء الاصطناعي.
تكمن المخاطر في إدراج الاسم ضمن موجه النظام في الحالات التي تتضمن تفاعلات متعددة المستخدمين ضمن سلسلة، حيث يمكن أن يؤدي ذلك إلى تذبذب موجه النظام، مما يسبب انتهاء صلاحية ذاكرة التخزين المؤقت، وهو أمر غير مثالي وقد يؤدي إلى ضعف الأداء.
الآن… لاحظتُ شيئًا واحدًا في قوالب vllm الخاصة بنا وهو أننا نتجاهل الاسم، وهذا يفسر سبب افتقار النماذج المستضافة بواسطة CDCK لهذه الميزة. أنا أعمل حاليًا على تصحيح لهذا الخطأ.