من الصعب التغلب على أسعار واجهة برمجة التطبيقات (API) لمثيل واحد، حيث تدفع لكل استدعاء مع أسعار واجهة برمجة التطبيقات، بينما عند تشغيل TGI، فإنك تدفع مقابل كل ساعة تشغيل الخادم.
لنفترض أنك تقوم بتشغيل Llama 3.1 8B على جهاز g6.xlarge؛ سيكلفك ذلك حوالي 600 دولار شهريًا. يمكن أن يمنحك هذا حوالي 450 مليون رمز مميز في Anthropic Claude 3.5 Haiku.
تشغيل نموذج لغوي كبير (LLM) الخاص بك منطقي عندما تحتاج إلى الخصوصية أو قابلية التوسع.