ربما هذا سؤال مبتدئ، لكنني أتساءل إذا كان لكمية المعلومات في تكوين شخصية المستخدم تأثير على تكاليف استخدام نماذج اللغة الكبيرة مثل كلاود أو أوبن إيه آي؟
أعني، إذا حملت العديد من النصوص وملفات PDF، هل سيؤدي ذلك إلى زيادة كبيرة في عدد رموز الطلب بحيث يصبح كل طلب باستخدام تلك الشخصية أكثر تكلفة من طلب يستخدم شخصية لا تحتوي على العديد من الملفات (أو التي تبحث عن مواضيع أقل في المنتدى)؟
يتم التحكم في الزيادة في التكلفة من خلال الإعدادين التاليين في Persona:
عند استخدام شخصية مع ملفات، ستستخدم
رموز أجزاء التحميل * أجزاء محادثة البحث
رموز إضافية. يمكنك تعديل هذه لضبط نسبة التكلفة/الجودة.
شكراً جزيلاً. هل لدى أي شخص خبرة جيدة حول القيم التي يجب استخدامها لهذه؟ ليس لدي أي فكرة.
سيحتوي ملف PDF مكون من 30 صفحة على حوالي 7500 كلمة، ربما. يمكن استقراء ذلك إلى 20000 رمز مميز (token).
بافتراض ذلك، ماذا يعني إذا قمت بتعيين Upload chunk tokens بقيمة 2000، على سبيل المثال؟ هل سيتم “قراءة 10٪ فقط من ملف PDF وأخذها في الاعتبار” عند بناء استجابة؟
اترك القيم الافتراضية ما لم يكن لديك سبب وجيه للتغيير. القيم الافتراضية لـ Discourse تعمل لمعظم حالات الاستخدام.