دعم لـ Mistral API

لقد كنت ألعب بالنماذج الجديدة من Mistral (mistral-small و mistral-medium) عبر واجهة برمجة التطبيقات الخاصة بهم وأحب ما أراه. يبدو أن Mistral-small (وهو Mixtral 8x7B MOE) يتفوق على GPT3.5 ويمكن أن يكون بديلاً قابلاً للتطبيق (حتى لو لم يكن بنفس القدرة) لـ GPT4 لبعض حالات الاستخدام. والأهم من ذلك، أنه أرخص بكثير من GPT4. أود أن أرى دعمًا لواجهة برمجة تطبيقات Mistral في إضافة Discourse AI.

لقد حاولت إسقاط عنوان URL لواجهة برمجة تطبيقات Mistral والرمز المميز في حقول openAI GPT4 turbo، ولكن ليس من المستغرب أن ذلك لم ينجح لأنه كان يطلب النموذج الخاطئ. بالنظر إلى وثائق واجهة برمجة التطبيقات لـ openAI و Anthropic و Mistral، فإنها جميعًا تستخدم نفس التنسيق. أتخيل أن هذا مقصود - البائعون الجدد يتوافقون مع openAI حتى يمكن استخدامهم كبدائل مباشرة.

لذلك، الجزء الثاني من طلب الميزة هذا هو النظر في إعادة هيكلة إعدادات الذكاء الاصطناعي لتكون أكثر عمومية لاستيعاب أي بائع يتبنى واجهة تشبه openAI. في الإعدادات، قم ببساطة بتوفير 4 أشياء: نقطة نهاية الدردشة، ونقطة نهاية قائمة النماذج، ونقطة نهاية التضمين، ومفتاح واجهة برمجة التطبيقات. ثم يقوم Discourse بالاستعلام عن نقطة نهاية /models لجلب الأسماء، و/ أو يمكنك كتابة أسماء النماذج يدويًا.

@Falco هبطت للتو mixtral اليوم عبر vLLM.

@Roman يعمل على إعادة هيكلة تطبيقنا الداخلي حتى يتمكن الروبوت من الاعتماد على واجهة “LLM عامة” الجديدة لدينا.

أتفق بشأن إعادة التفكير في جميع إعدادات الذكاء الاصطناعي عندما يتعلق الأمر بنماذج LLM، فإن الأنماط التي نحتاجها تتجاوز ما يمكنك القيام به في إعدادات الموقع.

واجهة جديدة تسرد جميع نماذج LLM التي يمكنك الوصول إليها، وتشرح نقاط النهاية / المعلمات / الحصص والمزيد هو بالتأكيد شيء نحتاج إلى البدء في التفكير فيه. الطريقة الحالية محدودة للغاية ونظرًا لوجود عدد لا نهائي من النماذج المتاحة، فنحن بحاجة إلى نموذج جديد هنا.

3 إعجابات