ما الإعدادات التي توصي بتعديلها أو زيادتها لتقليل وقت الاستجابة؟ افترض أنني أتحدث عن محادثة واحدة فقط، وليس عشرات المحادثات المتزامنة. باستثناء تقليص حجم المطالبة (prompt) أو نظام الاسترجاع المعزز بالتوليد (RAG)، يبدو أن إعداد جهد التفكير (Thinking Effort) هو الإعداد الوحيد الذي يؤثر حقًا على التوقيت في المحادثة الفردية.
للسياق، لدي وكيل (agent) يعمل بنموذج GPT Sol 6.1 ومحمّل بمستندات المنتج، ومقالات قاعدة المعرفة، وبعض الأسئلة والأجوبة التي تتناول الحالات الخادعة (gotchas).
لقد لاحظت مؤخرًا إعدادًا خاصًا بالوكيل الفرعي (subagent). أتساءل عما إذا كان بإمكاني استخدامه لتقسيم بعض إصدارات المنتج/المكونات وتبسيط عملية الـ RAG.