كيف يمكن تسريع وقت استجابة الوكيل؟

ما الإعدادات التي توصي بتعديلها أو زيادتها لتقليل وقت الاستجابة؟ افترض أنني أتحدث عن محادثة واحدة فقط، وليس عشرات المحادثات المتزامنة. باستثناء تقليص حجم المطالبة (prompt) أو نظام الاسترجاع المعزز بالتوليد (RAG)، يبدو أن إعداد جهد التفكير (Thinking Effort) هو الإعداد الوحيد الذي يؤثر حقًا على التوقيت في المحادثة الفردية.

للسياق، لدي وكيل (agent) يعمل بنموذج GPT Sol 6.1 ومحمّل بمستندات المنتج، ومقالات قاعدة المعرفة، وبعض الأسئلة والأجوبة التي تتناول الحالات الخادعة (gotchas).

لقد لاحظت مؤخرًا إعدادًا خاصًا بالوكيل الفرعي (subagent). أتساءل عما إذا كان بإمكاني استخدامه لتقسيم بعض إصدارات المنتج/المكونات وتبسيط عملية الـ RAG.

  1. مستوى قوة الاستدلال
    نموذج Sol في الوضع المنخفض (low) ذو كفاءة عالية؛ أنا أستخدمه على نطاق واسع لمهام كثيرة، لذا أنصح بتجربته أولاً.

  2. مستوى الخدمة (Service Tier)
    يدعم Discourse أيضاً مستوى الخدمة priority، وهو ما يعادل “الوضع السريع” ويجعل الاستجابة أسرع بـ 2.5 مرة. يمكننا إضافة خيار ultrafast هناك إذا أردت سرعة أكبر.

  3. التخزين المؤقت للموجهات (Prompt caching)
    انقل جميع الأجزاء الديناميكية من موجهك إلى أقصى وقت ممكن لزيادة الجزء القابل للتخزين المؤقت وتقليل زمن التهيئة المسبقة (prefill time).

  4. جرب المقايضة بين RAG + الأدوات والموجهات الثابتة (hardcoded prompt)
    اعتماداً على حجم قاعدة معارفك، قد يكون استخدام موجه ضخم جداً أسرع وأرخص من التحميل الديناميكي للمعارف.

  5. أدوات أسرع
    إذا كنت، كما نفعل في ask.discourse.com، تستخدم على نطاق واسع أدوات مخصصة لمصادر التأسيس الديناميكي (dynamic grounding sources)، فإن تحسينها لاستجابة فورية يعود بفائدة كبيرة.

  6. نماذج أصغر
    اعتماداً على حالة الاستخدام لديك، قد يحد الانتقال إلى نموذج Luna من فجوة السرعة مع جودة مقبولة.

شكرًا! سأجربها كلها بالتأكيد.

أي أفكار حول فعالية الوكلاء الفرعيين في هذه الحالة؟ سي يساعدني ذلك حقًا في التخلص من بعض الأحمال الزائدة في RAG.

يمكن أن يساعد بالتأكيد، لكنه الأصعب من حيث الجهد والصيانة المستقبلية، لذا أنصحك باللجوء إليه فقط إذا لم يكن الأمر مناسبًا بعد استكشاف الحلول السهلة.