حقن المطالبات لنماذج اللغات ذات السياق الطويل كبديل لـ RAG؟

هامش:

تمكنت من إعادة تشغيل الاختبار أعلاه باستخدام GPT4o (سياق 128 ألف)، مع التأكد من استخدام إعدادات كبيرة للرموز / الأجزاء. لكنه لا يزال غير مستقر للغاية لحالة استخدام الأسئلة والأجوبة في ورقتي البيضاء (مفقود في المنتصف، مفقود في النهاية، إلخ). إليك إعداداتي إذا أراد أي شخص تكرارها وتحسينها. أحب أن نجد الإعدادات الصحيحة لهذه الحالة:

شخصية الذكاء الاصطناعي المخصصة
ممكّن؟ نعم
الأولوية نعم
السماح بالدردشة نعم
السماح بالإشارات نعم
الرؤية ممكّنة لا
الاسم Rag Testing Bot 3
الوصف اختبار RAG مقابل حقن المطالبات السياقية الطويلة
نموذج اللغة الافتراضي GPT-4o-custom
المستخدم Rag_Testing_Bot_bot
الأوامر الممكنة الفئات، القراءة، الملخص
المجموعات المسموح بها trust_level_4
مطالبة النظام أجب بأكبر قدر ممكن من الشمولية من السياق المقدم حول أبحاث Equatic لإزالة الكربون في الملف المرفق. لا تخترع محتوى. لا تستخدم محتوى خارجيًا لهذه الجلسة. ركز على المحتوى المقدم وأنشئ إجابات منه بأكبر قدر ممكن من الدقة والاكتمال.
أقصى عدد لمشاركات السياق 50
درجة الحرارة 0.1
أعلى P 1
التحميلات Equatics-paper1-with-unique-haystack-needles-v116.txt
رموز أجزاء التحميل 1024
رموز تداخل أجزاء التحميل 10
أجزاء محادثة البحث 10
نموذج اللغة لمُنسق الأسئلة GPT-4o-custom
البوت المخصص
اسم العرض GPT-4o-custom
اسم النموذج gpt-4o
الخدمة المستضيفة للنموذج OpenAI
عنوان URL للخدمة المستضيفة للنموذج https://api.openai.com/v1/chat/completions
مفتاح API للخدمة المستضيفة للنموذج D20230943sdf_fake_Qqxo2exWa91
المُرمّز OpenAITokenizer
عدد الرموز للمطالبة 30000