قام صديق بإرسال هذا الموضوع لي عبر الرسائل المباشرة.
بعض الإيجابيات/السلبيات:
- يدعم infinity تضمينات متعددة الوسائط (أي إرسال صور/صوت) إلى
- دعم بطاقات الرسوميات AMD
- نماذج متعددة مدعومة في نفس الحاوية (تحكم في النموذج عبر المعلمة
model). - أنواع بيانات إضافية مثل تكميم int8 للأوزان (هذا غير مهم في الغالب، ذاكرة التنشيط أكبر)
- غالبًا ما تظهر نماذج جديدة عبر “رمز نمذجة مخصص” يتم شحنه في مستودع huggingface. يقرأ Infinity رمز pytorch هذا إذا لزم الأمر. سيساعدك هذا على تجنب “هل يمكنك دعم نماذج كذا وكذا” بشكل مستمر)
- المزيد من النماذج المدعومة (مثل debertav2 لـ mixedbread)
السلبيات:
- وقت البدء البارد لـ TEI أفضل