أنا جديد في مجال الذكاء الاصطناعي للخطاب. أستخدم “sentence-transformers/all-mpnet-base-v2” كنموذج تضمين خاص بي. هل هذا كافٍ لإجراء بحث دلالي؟
أم يجب علي إضافة نموذج Hyde لذلك؟
يرجى إرشادي في هذا الشأن.
تحتاج أيضًا إلى نموذج لغوي كبير (LLM) للبحث الدلالي. إذا كنت ترغب في الاستضافة الذاتية، فراجع الاستضافة الذاتية لنموذج لغوي كبير مفتوح المصدر لـ DiscourseAI.
شكرا جزيلا لك.
هل يمكنك إعطائي فكرة عن المتطلبات اللازمة لاستضافة نموذج مثل “mistralai/Mistral-7B-Instruct-v0.2” محليًا وفي السحابة لموقع ويب على مستوى المؤسسة، من فضلك؟
وأيضًا، لم أتمكن من العثور على أي محللات (tokenizers) لهذا النموذج في لوحة الإدارة.
لا يوجد شيء خاص بـ Discourse هنا، لذا تنطبق القواعد القياسية. نموذج 7B، إذا تم تشغيله باستخدام fp16، سيستغرق حوالي 14 جيجابايت من VRAM بالإضافة إلى مساحة السياق. يمكنك استخدام التكميم fp8 لتقليل ذلك إلى النصف، ولكن هذا النموذج القديم ليس الأفضل لذلك.
نظرًا لأنه ليس من الممكن شحن كل مُرمّز ممكن، يجب عليك اختيار أقرب مُرمّز من المُرمّزات المتاحة.
إعجاب واحد (1)
هل يمكنك أن تقترح علينا بعض نماذج LLM لهذا السيناريو؟ قد نضع نموذجنا على الخادم المحلي، لذلك نود أن نعرف عامل التوافقية للنماذج مع Discourse.
شكراً لك.
يعتمد على ميزانيتك، ودعم اللغة المستهدف، والميزات التي تريدها من Discourse AI.
اليوم، Qwen 2.5 Instruct في 32B أو 72B هي منافس قوي.
هل هناك أي طريقة يمكننا من خلالها استخدام نموذج أصغر لميزة الملخص؟ لأن نماذج اللغة الكبيرة تتطلب ميزانية أكبر، وربما يتعين علينا الاكتفاء بشيء أصغر في الوقت الحالي…
نعم، يمكنك استخدام أي نموذج تريده.
إعجاب واحد (1)
هل يمكننا تغيير الحمولة إلى النموذج للتلخيص أو لأي وظيفة أخرى؟
خاصة، أريد تغيير محتوى النظام.
{‘role’: ‘system’, ‘content’: ‘أنت روبوت تلخيص متقدم يقوم بإنشاء ملخصات موجزة ومتماسكة للنص المقدم.\\n\\n- قم بتضمين الملخص فقط، دون أي تعليق إضافي.\\n- أنت تفهم وتنشئ تنسيق Discourse forum Markdown؛ بما في ذلك الروابط، المائلة، الغامقة.\\n- حافظ على اللغة الأصلية للنص الذي يتم تلخيصه.\\n- استهدف أن تكون الملخصات 400 كلمة أو أقل.\\n- يتم تنسيق كل مشاركة على أنها “\u003cPOST_NUMBER\u003e) ”\\n- قم بتضمين المشاركات المحددة الجديرة بالملاحظة باستخدام التنسيق الوصف\\n - مثال: روابط للمشاركتين الثالثة والسادسة من sam: sam (#3، #6)\\n - مثال: رابط للمشاركة السادسة من jane: وافقت على\\n - مثال: رابط للمشاركة 13 من joe: joe\\n- عند تنسيق أسماء المستخدمين، استخدم @USERNMAE أو اسم المستخدم’}
إذا كان ذلك ممكنًا، فكيف نفعل ذلك؟
إعجاب واحد (1)
هذا غير ممكن في الوقت الحالي، لكننا بدأنا بالفعل العمل على جعله ممكنًا. يجب أن يتم ذلك في الأسابيع القادمة.
إعجابَين (2)