قام متدرب بنشر موقع Discourse الخاص بنا على DigitalOcean باستخدام OpenAI عبر نقطة نهاية API متصلة بمكون Discourse AI الإضافي. الموقع يعمل بشكل رائع. اقترح المتدرب أن ينظروا في HuggingFace TGI. أحاول تقديم إرشادات للمتدرب لمعرفة ما إذا كانوا على المسار الصحيح فيما يتعلق بـ HuggingFace. أعتقد أنهم يقترحون استضافة HuggingFace TGI ذاتيًا لتقليل التكاليف. ومع ذلك، عندما أنظر إلى تكاليف استضافة وحدات معالجة الرسومات (GPU)، يبدو الأمر مكلفًا.
يمكنني أن أطلب من المتدرب اقتراح خدمات وتكاليف محددة، لكنني أحاول المساعدة في التوجيه الاستراتيجي. البديل هو أن يواصل المتدرب اختبار OpenAI و Anthropic و Gemini.
هل هناك أي نصائح حول ما يجب أن أقوم بتعيينه للمتدرب؟
الفكرة الأساسية هي تنفيذ Discourse AI على نشر إنتاجي لـ Discourse ثم مطالبة العميل (الممول للمجتمع) بدفع رسوم خدمة إضافية للحفاظ على الذكاء الاصطناعي والترويج للميزات الجديدة.
فيما يتعلق بتعيينات المتدربين، يمكنني أيضًا تعيينهم للنظر في Hugging Face Inference API. هل هو أرخص من استخدام OpenAI API؟
هل يستخدم أي شخص خدمات محددة من Google Cloud أو AWS أو Azure لاستضافة TGI؟
على سبيل المثال، بالنسبة لـ AWS، هل يجب أن ينظروا إلى g4dn.xlarge أو g5.xlarge؟
بالنسبة لـ GCP، هل وحدات معالجة الرسومات T4 هي المسار الموصى به؟
من الصعب التغلب على أسعار واجهة برمجة التطبيقات (API) لمثيل واحد، حيث تدفع لكل استدعاء مع أسعار واجهة برمجة التطبيقات، بينما عند تشغيل TGI، فإنك تدفع مقابل كل ساعة تشغيل الخادم.
لنفترض أنك تقوم بتشغيل Llama 3.1 8B على جهاز g6.xlarge؛ سيكلفك ذلك حوالي 600 دولار شهريًا. يمكن أن يمنحك هذا حوالي 450 مليون رمز مميز في Anthropic Claude 3.5 Haiku.
تشغيل نموذج لغوي كبير (LLM) الخاص بك منطقي عندما تحتاج إلى الخصوصية أو قابلية التوسع.
شكراً لردك. ستكون تكلفة 600 دولار شهرياً لنموذج Llama 3.1 8B على جهاز g6.xlarge معقولة، ولكن كما أشرت بلطف، فإن تكلفة واجهة برمجة التطبيقات (API) ستكون أرخص. وبالتالي، سنختار على الأرجح تكاليف واجهة برمجة التطبيقات الخاصة بـ OpenAI وغيرها. ما هي مخاوف الخصوصية؟
لغرض التجريب باستخدام HuggingFace TGI، هل هناك شيء أرخص من 600 دولار شهرياً يمكننا استخدامه للاختبار؟ على سبيل المثال، هل يمكن للمتدرب إيقاف تشغيل وحدة معالجة الرسومات (GPU) عندما لا يكون يعمل؟ أحاول معرفة ما يمكنني أن أوصي به لهم. أنا مرتبك بعض الشيء بشأن تكاليف الحاويات التي تدعم وحدات معالجة الرسومات ولا أريد أن أضع عبء توصية التكلفة على المتدرب. إذا ارتكبوا خطأ في شراء حاوية، فقد يشعرون بالسوء.
ما أود فعله هو شراء الموارد لهم، ثم توجيههم لاختبار HuggingFace TGI في المورد الذي اشتريته لهم. يمكنهم بعد ذلك تقديم تقرير عن أي اختلافات في الأداء أو تحسين النتائج.