هذا دليل موجه لتشغيل مثيلاتك الخاصة للخدمات التي تشغل وحدات Discourse AI.
مقدمة
إذا كنت ترغب في استخدام Discourse AI على مثيلك المستضاف ذاتيًا، فقد تحتاج أيضًا إلى تشغيل الخدمات المصاحبة للوحدات التي ترغب في تمكينها.
كل وحدة لديها خدمة مصاحبة واحدة أو أكثر مطلوبة، وتستخدم هذه الخدمات المزيد من وحدة المعالجة المركزية / وحدة معالجة الرسومات / مساحة القرص أكثر من Discourse نفسه، لذا ضع في اعتبارك أن هذا غير موصى به للأشخاص غير المطلعين على إدارة خوادم Linux و Docker.
التلخيص / مساعد الذكاء الاصطناعي / روبوت الذكاء الاصطناعي
التضمينات
المشاعر
التشغيل في بيئة الإنتاج
قد ترغب في وضع هذه الخدمة خلف وكيل عكسي لتمكين ميزات مثل موازنة التحميل، TLS، فحوصات السلامة، حدود المعدل، إلخ عند التشغيل في موقع مباشر.
بعد تشغيل الخدمة، قم بتكوين الوحدة للاتصال بالمجال الذي تعمل فيه الخدمة باستخدام إعداد الموقع المناسب ثم قم بتمكين الوحدة.
يعمل Composer Helper فقط مع واجهات برمجة تطبيقات OpenAI أو Anthropic في الوقت الحالي، لذا سيعمل بشكل جيد في المواقف المستضافة ذاتيًا شريطة أن يكون لديك إحدى واجهات برمجة التطبيقات هذه.
هل يتطلب التلخيص خدمة تصنيف محلية؟ أم أنه سيعمل فقط باستخدام مفتاح واجهة برمجة تطبيقات OpenAI إذا كنت تستخدم نموذج ChatGPT3.5؟ لقد قمت بتشغيله ولكني لا أراه في المواضيع.
وفقًا لـ Discourse AI - Summarization يمكنك استخدامه مع OpenAI عن طريق تكوين مفتاح OpenAI (الذي قمت به بالفعل)، واختيار أحد نماذج GPT كنموذج تلخيص وتمكين وحدة التلخيص.
زر الملخص يظهر فقط للمواضيع التي تحتوي على أكثر من 50 ردًا في الوقت الحالي، ولكننا سنقوم بتمكينه لجميع المواضيع قريبًا.
هل يمكنك مشاركة بعض الطلبات النموذجية؟ أنا حاليًا أحاول إعداد هذا في AWS ASG على مثيل EC2 ولا يمكنني جعله يعمل؛ أنا فقط أرى 400 طلب سيئ في سجلات Discourse.
علاوة على ذلك، سيكون عنوان URL لفحص الحالة رائعًا، / يصدر خطأ 404.
يعمل التلخيص بالفعل مع واجهات برمجة تطبيقات OpenAI و Anthropic، لذا سيوفر لك ذلك إمكانيات متعددة اللغات. قد تحتاج إلى بعض التعديلات لترجمة الموجه (prompt) للحفاظ عليه أكثر تركيزًا على لغة الموضوع.
@Falco هل تتكرم بتقديم مثال لتكوين خادم يحتوي على “الكثير من وحدات المعالجة المركزية / وحدات معالجة الرسومات / الأقراص” ويمكنه تشغيل الذكاء الاصطناعي المستضاف ذاتيًا جنبًا إلى جنب مع منتدى Discourse عادي؟
أود رؤية ذلك أيضًا، من فضلك. أيضًا، بالنظر إلى متطلبات الموارد، هل سيكون من الأفضل (ممكن، أكثر فعالية من حيث التكلفة؟) تفريغ خدمات الذكاء الاصطناعي المصاحبة إلى خادم افتراضي خاص منفصل؟
يعتمد على النماذج والوحدات النمطية الدقيقة لـ Discourse AI التي ترغب في تشغيلها. على سبيل المثال، تستخدم وحدة السمية 5 جيجابايت و NSFW تستخدم 1 جيجابايت من ذاكرة الوصول العشوائي. مساحة القرص متشابهة، ويتم استخدام وحدة المعالجة المركزية / وحدة معالجة الرسومات للاستدلال، لذا تعتمد احتياجاتك على عدد الطلبات في الثانية التي تتوقع الحصول عليها.
يبلغ متوسط المستخدم 100 كلمة (أو رموز) يوميًا لكل وحدة ذكاء اصطناعي
تشغيل جميع وحدات الذكاء الاصطناعي الست
0.0008 دولار * 6 = 0.0048 دولار
إجمالي التكلفة الشهرية لكل مستخدم: 0.0048 دولار * 30 = 0.144 دولار
الحد الأدنى لمتطلبات الخادم للاستضافة الذاتية هي حوالي:
16 جيجابايت من ذاكرة الوصول العشوائي المجانية، ويفضل 32 جيجابايت
معالج بسرعة 3.5 جيجاهرتز أو أعلى و 8 نوى أو أكثر
100 جيجابايت SSD
أقل خادم تكلفة يلبي هذه المتطلبات على Digital Ocean هو:
16 جيجابايت رام
8 معالجات Intel vCPUs مميزة (أكثر من 3.5 جيجاهرتز)
عرض النطاق الترددي: 6000 جيجابايت
SSD: 2x 200 جيجابايت
التكلفة الشهرية: 244.00 دولار
لذلك، ستكون الاستضافة الذاتية لـ ChatGPT4 أكثر فعالية من حيث التكلفة من استخدام خدمة واجهة برمجة التطبيقات الخاصة بها عندما يكون لدى Discourse حوالي 2000 مستخدم نشط شهريًا.
مع بعض التقريب المترنح والسخي المتضمن. هل هذا يبدو صحيحًا @Falco
بعض نماذج اللغات الكبيرة (LLMs) مفتوحة المصدر مثل Falcon أو نماذج مختلفة تعتمد على LLaMA (والتي تأتي مع أسئلة ترخيص) يمكن استضافتها بنفسك ولكن حتى الآن كلها أقل أداءً من GPT 4 أو حتى 3.5.
حساباتك التقريبية هناك خاطئة تمامًا، إذا كنت ستستضيف نموذج لغة كبير بنفسك فمن المحتمل أنك تريد A100 أو H100، ربما عدد قليل منها… حاول البحث عن الأسعار على جوجل…
على أي حال، سأحاول المساهمة بشيء والعودة لتحديثه عندما يكون لدي بعض بيانات المستخدم للمقارنة.
هذه هي الحسابات التي أجريتها لاستخدام واجهة برمجة تطبيقات ChatGPT3.5 مع الوحدات المذكورة أعلاه، بناءً على افتراض غامض جدًا بأن المستخدم النشط العادي في شهر واحد سيولد في المتوسط 100 كلمة في تنفيذ واحد:
تكاليف واجهة برمجة تطبيقات ChatGPT3.5
0.0003 دولار لكل 100 كلمة في تنفيذ واحد
يولد المستخدم النشط العادي حوالي 100 كلمة في اليوم على كل وحدة ذكاء اصطناعي
متوسط التكلفة الشهرية لكل مكون/إضافة ذكاء اصطناعي: 0.009
6 = 0.054 دولار
يمنح هذا تكلفة شهرية إجمالية لكل مستخدم لجميع المكونات الستة البالغة 0.054 دولار إذا كانت تعمل على ChatGPT3.5
شكرا لك. يتم تقديم التسعير الحالي هنا لأي شخص يتساءل عن ماهية g4dn.xlarge. نأمل أن تتمكن من نشر بيانات الاستخدام في وقت ما حتى نتمكن من فهم التكاليف الحقيقية.
