كيفية تكوين Discourse لاستخدام نموذج لغوي كبير مُثبَّت محليًا؟

عذرًا يا رفاق، لم أتمكن من معرفة ما إذا كان يمكن تكوين نماذج اللغة الكبيرة المثبتة محليًا من خلال واجهة الإعدادات القياسية من هذه المقالة؟

إعجابَين (2)

أعتقد طالما أنه يعرض واجهة برمجة تطبيقات مدعومة، يجب أن يكون ذلك ممكنًا.

هل هناك نموذج لغوي كبير (LLM) معين تخطط لتثبيته (أو قمت بتثبيته بالفعل) محليًا؟

4 إعجابات

قد يساعد هذا الموضوع

6 إعجابات

[اقتباس=“mcwumbly، المشاركة: 2، الموضوع: 368413”]
هل هناك نموذج لغوي كبير (LLM) معين تخطط لتثبيته (أو قمت بتثبيته بالفعل) محليًا؟

[/اقتباس]

هذا تمرين آخر لاختيار النموذج المناسب - لم أكن متأكدًا حتى بعد قراءة مقالاتك المتعلقة بالذكاء الاصطناعي هنا في Meta.

أعتقد أن أداة محدد نماذج لغوية كبيرة مفتوحة المصدر من فريق Discourse ستكون مفيدة جدًا - لأنك تعرف التفاصيل الداخلية وما الذي يجب أن يكون LLM قادرًا على القيام به بالضبط للتفوق في أنواع مختلفة من المهام ذات الصلة بمجتمعات Discourse. لذلك، ستطرح الأداة/المعالج/LLM أسئلة أو تسمح لي بالتحقق من/إيقاف في قائمة تضم أكثر من 20 مهمة نموذجية أود أن يقوم بها LLM في مجتمعي، ثم الحصول على أفضل 3 توصيات (غير قابلة للتنازل ولكنها الأثقل وتتطلب أجهزة باهظة الثمن؛ متوازنة تتطلب خادمًا مخصصًا متوسط ​​السعر؛ و خفيفة الوزن للمهام الأساسية في المجتمعات الصغيرة إلى المتوسطة التي يمكن تشغيلها على خادم افتراضي خاص (VPS) بقيمة 20-40 دولارًا).

إعجابَين (2)

أعتقد أن الحفاظ على الإجابة الصحيحة لذلك سيكون وظيفة بدوام كامل. :rofl:

5 إعجابات

إذا كنت تبحث عن شيء رخيص، فإن الطبقة المجانية من Gemini هي الخيار الأفضل:

Gemini Flash 2.0 هو نموذج قادر جدًا وتوفر الطبقة المجانية استخدامًا كافيًا للقيام بالعديد من الأشياء في منتدى الخاص بك.

5 إعجابات

أبحث عن استضافة محلية لأنني لا أستطيع إرسال أي من محتوياتنا إلى أي خدمة خارج خوادمنا.

بالنسبة للخيارات الرخيصة، شكرًا على التلميح!

4 إعجابات

غير قابلة للتسوية

  • DeepSeek V3 0324
  • Qwen 3 235B A22

متوازنة

  • Qwen 3 32B / 30B A3B
  • Llama 3.3 70B
  • Qwen 2.5 70B

خفيفة

ربما https://huggingface.co/unsloth/gemma-3-4b-it-qat-GGUF؟ من الصعب في هذا المستوى، وأكثر اقتصادية استخدام واجهة برمجة تطبيقات مستضافة، مثل OpenRouter.

4 إعجابات