هل هناك طريقة لإضافة مفتاح واجهة برمجة تطبيقات (API) من نموذج لغوي كبير (LLM) غير مدرج؟
نحن نستخدم نموذجًا لغويًا كبيرًا يسمى Deepseek ونود دمجه. لدينا بالفعل مفاتيح واجهة برمجة التطبيقات (API) وما إلى ذلك.
إعجابَين (2)
على حد علمي، لا، حيث أن Discourse يدعم فقط تلك المدرجة على الأرجح.
إذا كنت مخطئًا، فلا تتردد في معارضتي.
إعجاب واحد (1)
إنه يعمل مع VLLM، يمكنك ببساطة تكوين نقطة نهاية VLLM ويجب أن يعمل بشكل مباشر.
6 إعجابات
رائع!!
شكراً جزيلاً. سأجرب هذا.
إعجابَين (2)
كان دعم معظم نماذج اللغات الكبيرة الحديثة الموجودة محورًا رئيسيًا للإصدار 3.3، وقد وصلنا أخيرًا إلى ذلك، في الوقت المناسب تمامًا عندما تلحق نماذج اللغات الكبيرة ذات الأوزان المفتوحة بالنماذج المغلقة.
أخبرني إذا كنت بحاجة إلى مساعدة في تكوين DeepSeek في نسختك، فهذه الميزة جديدة تمامًا وما زلنا نقوم بتحديث جميع الوثائق لتعكس قدراتها الجديدة.
إعجابَين (2)
نعم، أحتاج إلى المساعدة. بحثت ولم أجد طريقة لإضافته بدون VLLM. VLLM هو عبء إضافي أفضّل تجنبه بسبب المتطلبات.
سيكون من الرائع لو كان هناك تكامل ليس فقط لـ Deepseek، ولكن للعديد من نماذج اللغات الكبيرة مفتوحة المصدر الأخرى. أنا برأيي أن هذا هو الاتجاه الذي يتجه إليه سباق نماذج اللغات الكبيرة هذا.
مما نراه، تتردد الشركات في تسليم بياناتها إلى “السحابة”. النماذج مفتوحة المصدر التي تسمح لهم بتشغيل مثيلات محلية باستخدام أدوات مثل GPT4ALL و HuggingFace ستنتهي كنموذج مفضل.
شكرا
إعجاب واحد (1)
نعم، أتفق مع ذلك، ولهذا السبب ندعم تشغيل نموذج اللغة الكبير الخاص بك منذ اليوم الأول.
ماذا؟
vLLM هو محرك الاستدلال الأكثر شيوعًا، وهو بعيد كل البعد عن كونه “عبئًا إضافيًا”، حيث أن النشر باستخدامه يعني أنك ستحصل على استدلال أسرع من أي نص برمجي بايثون مجمع يمكن للمطور كتابته في غضون يومين، وهو مجرد أمر docker run --gpus all vllm/vllm-openai:latest --model deepseek-ai/DeepSeek-Coder-V2-Instruct لمعظم النماذج.
سيؤدي تطبيقنا إلى العمل مع أي واجهة برمجة تطبيقات تلتزم بمواصفات OpenAI الواقعية المعتادة، لذا يمكنك تشغيله بدون vLLM أو Hugging Face TGI طالما أنك تجعل واجهة برمجة التطبيقات الخاصة بك تلتزم بما هو متوقع.
إعجاب واحد (1)
شكرًا، بناءً على قراءتي، (ربما قرأتها بشكل خاطئ) ألا أحتاج إلى Droplet [Digital Ocean] جديد، المعروف أيضًا باسم VPS، لنشر VLLM؟ أم يمكن نشره على نفس Droplet الذي يستضيف مثيل Discourse الخاص بي؟
إذا كان الأمر كذلك، على نفس المثيل، هل سيكون في نفس دليل Discourse أم في دليل منفصل؟
شكرا مرة أخرى
ما هي القطرة الدقيقة التي تشغل عليها موقع Discourse الحالي الخاص بك؟ هل هي بقيمة 6 دولارات؟
أعتقد أن سعره 15 دولارًا. أعتقد أنه يحتوي على 2 جيجابايت من ذاكرة الوصول العشوائي. بمجرد الانتهاء من الاختبار، سأقوم بتوسيعه.
شكرًا
هممم، هل أنت على علم بأن تشغيل هذا النموذج من Deepseek الذي تريده سيكلفك حوالي 10000 دولار شهريًا؟
4 إعجابات
أعتقد أن @oga يريد استخدام خدمة Deepseek API الرسمية بدلاً من نشر نموذج مفتوح المصدر بنفسه.
واجهة برمجة تطبيقات Deepseek الرسمية متوافقة مع واجهة برمجة تطبيقات OpenAI، لذا تحتاج فقط إلى إضافة LLM جديد ضمن admin/plugins/discourse-ai/ai-llms.
3 إعجابات
بالضبط ما نحاول القيام به. نحن ننشئ منصة لتدريب الأطفال الصغار والأشخاص على كيفية كتابة مطالبات فعالة، ولكننا نريد القيام بذلك في بيئة يمكننا فيها مراقبة ما يطالبون به.
دعني أجرب هذا وأرى. سيكون نشر نموذج مفتوح المصدر لهذا الغرض باهظ التكلفة.
شكرًا
إعجاب واحد (1)
قطع دجاج مقدسة!! ليس ما نريده ولا يمكننا تحمله.
إعجاب واحد (1)