الاستضافة الذاتية لنموذج لغوي كبير مفتوح المصدر لـ DiscourseAI

الإضافة Discourse AI تتمتع بميزات عديدة تتطلب نموذج لغة كبير (LLM) لتفعيلها، مثل التلخيص، مساعد الذكاء الاصطناعي، البحث الدلالي، روبوت الذكاء الاصطناعي، ووكلاؤه. يمكنك استخدام واجهة برمجة التطبيقات (API) لطرف ثالث، مثل تكوين مفاتيح API لـ OpenAI أو تكوين مفاتيح API لـ Anthropic، ولكن تم بناء Discourse AI منذ اليوم الأول بحيث لا تكون مقيدًا بهذه الخيارات.

يغطي هذا الدليل تشغيل نموذج بأوزان مفتوحة بنفسك وربطه بـ Discourse.

النموذج المستخدم هنا: Qwen/Qwen3.8-27B — نموذج كثيف بحجم 27B صدر في أغسطس 2026، يتميز بنافذة سياق أصلية بحجم 256K، وقدرة على فهم الصور/الفيديو، واستدعاء الأدوات، ووضع التفكير مفعل افتراضيًا. يعتبر حاليًا الخيار الأمثل للاستضافة الذاتية: قوي بما يكفي لأعمال التلخيص/الوكلاء الفعلية، وصغير بما يكفي للعمل على وحدة معالجة رسومات (GPU) واحدة. استبدله بأي نموذج آخر يعجبك؛ سيتم توضيح الإعدادات التي تتغير أدناه.

ما يحتاجه Discourse من خادم الاستدلال الخاص بك

  • نقطة نهاية متوافقة مع OpenAI لـ POST /v1/chat/completions (مع دعم البث).
  • استدعاء أدوات/وظائف أصلي إذا كنت تريد أن يعمل روبوت الذكاء الاصطناعي، أو الوكلاء، أو الإخراج المنظم بشكل جيد. بدون ذلك، يعود Discourse إلى استخدام استدعاءات الأدوات القائمة على XML، والتي تتعامل معها النماذج الأضعف بشكل سيء.
  • نافذة سياق حقيقية — استهدف 16K رمز كحد أدنى، ويفضل 32K فأكثر. تنمو أحجام مطالبات Discourse للتلخيص والاسترجاع المعزز بالتوليد (RAG) بسرعة.
  • اختياري: إدخال الصور، إذا كنت تريد أن يقرأ النموذج الصور المرفقة بالمنشورات.

أي شيء يلبي المتطلبات الثلاثة الأولى يعمل، لذا فإن الاختيار أدناه يعتمد في الواقع على عتادك.

الإعداد مناسب لـ
vLLM خادم GPU مخصص، ذاكرة فيديو (VRAM) ≥24GB (كمية) / 80GB (دقة كاملة)، حركة مرور مستمرة، مستخدمون متعددون
llama.cpp وحدات GPU للمستهلكين، شرائح Apple Silicon، صناديق تعتمد على المعالج فقط، منتدى صغير مفرد
إدارة / سحابة تريد إبعاد النموذج عن حاسوبك المحمول ولكن ليس على عتادك: أي نقطة نهاية متوافقة مع OpenAI

التشغيل باستخدام vLLM

vLLM هو المحرك الموصى به لخوادم GPU: مرخصة Apache، وخادم متوافق مع OpenAI جاهز للاستخدام، ودعم من الدرجة الأولى لعائلة Qwen.

mkdir -p /opt/vllm-cache
export VLLM_API_KEY="$(openssl rand -hex 24)"

docker run -d --name vllm \
  --runtime nvidia --gpus all \
  -v /opt/vllm-cache:/root/.cache/huggingface \
  -e HF_HOME=/root/.cache/huggingface \
  -e "HF_TOKEN=${HF_TOKEN}" \
  -p 8080:8000 \
  --ipc=host \
  vllm/vllm-openai:latest \
  Qwen/Qwen3.8-27B \
  --host 0.0.0.0 \
  --port 8000 \
  --max-model-len 32768 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_xml \
  --api-key "$VLLM_API_KEY"

ملاحظات حول الإعدادات:

  • يحدد --max-model-len سياق المطالبة والإخراج وبالتالي ذاكرة KV. يدعم النموذج 256K بشكل أصلي؛ 32K كافية لأعمال المنتدى وتحافظ على ذاكرة الفيديو (VRAM) بشكل متوقع. ارفعها (أو استخدم auto) إذا كانت لديك الذاكرة الكافية.
  • يفصل --reasoning-parser qwen3 تفكير النموذج في حقل منفصل باسم reasoning بدلاً من إغراقه في الإجابة. يجب أن تعكس هذا الخيار في إعدادات LLM الخاصة بـ Discourse (انظر أدناه).
  • تفعيل --enable-auto-tool-choice --tool-call-parser ... يستدعي استدعاء الوظائف الأصلي. تتغير أسماء المحللين بين إصدارات vLLM — تحقق من python3 -m vllm.entrypoints.openai.api_server --help داخل صورتك إذا عاد استدعاءات الأدوات كنص عادي.
  • مطلوب HF_TOKEN فقط للنماذج المقيدة؛ تحمي --api-key نقطة النهاية الخاصة بك. تحذير من وثائق vLLM: تحمي --api-key مسارات /v1 فقط، لذا حافظ على الخادم بعيدًا عن الإنترنت العام.
  • هل الذاكرة VRAM محدودة؟ جرب --quantization fp8 (أو نقطة تفتيش مسبقة الكمومية بـ AWQ) قبل تقليص السياق. GPU متعدد: أضف --tensor-parallel-size N.

اختبره:

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $VLLM_API_KEY" \
  -d '{
    "model": "Qwen/Qwen3.8-27B",
    "messages": [{"role": "user", "content": "What is Discourse?"}],
    "max_tokens": 200
  }'

يجب أن تحصل على جسم JSON عادي لإكمال الدردشة، مع message.reasoning جنبًا إلى جنب مع message.content.

التشغيل باستخدام llama.cpp

llama.cpp هي الأداة المناسبة عندما يجب أن يتسع النموذج في ذاكرة VRAM أقل مما يفضله vLLM، أو عندما تكون على شرائح Apple Silicon، أو AMD، أو Vulkan، أو المعالج فقط. يوضح llama-server الخاص به أيضًا واجهة برمجة تطبيقات متوافقة مع OpenAI.

قم بسحب وتشغيل إصدار GGUF الرسمي باستخدام صورة الحاوية لخلفية النظام الخاصة بك (server-cuda هنا؛ موجودة أيضًا server، server-rocm، server-vulkan وغيرها):

export LLAMA_API_KEY="$(openssl rand -hex 24)"

docker run -d --name llama-server \
  --gpus all \
  -p 8080:8080 \
  -v /opt/llama-models:/models \
  ghcr.io/ggml-org/llama.cpp:server-cuda \
  -hf ggml-org/Qwen3.8-27B-GGUF:Q4_K_M \
  --host 0.0.0.0 \
  --port 8080 \
  --alias qwen3.8-27b \
  --api-key "$LLAMA_API_KEY" \
  --ctx-size 16384 \
  --n-gpu-layers auto \
  --flash-attn auto \
  --jinja \
  --reasoning auto
  • Q4_K_M حوالي 16GB من الأوزان؛ قياس حوالي 18.4 GiB من ذاكرة VRAM عند سياق 8K وحوالي 20 GiB عند 32K، لذا تعمل بطاقة 24GB مع --ctx-size متواضع. unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M من Unsloth هو بديل شائع.
  • يستخدم --jinja قالب الدردشة الخاص بالنموذج نفسه — وهذا ما يجعل استدعاء الأدوات الأصلي يعمل.
  • يحدد --alias الاسم المبلّغ عنه بواسطة API، لذا يطابق اسم النموذج الذي تكتبه في Discourse.
  • يبلّغ --reasoning auto عن التفكير بشكل منفصل، مطابقة سلوك --reasoning-parser الخاص بـ vLLM.
  • يتطلب إدخال الصور مُسقِط الوسائط المتعددة (multimodal projector)؛ مع -hf يتم جلبه تلقائيًا عادةً، وإلا مرر --mmproj /models/mmproj-...gguf (أو --no-mmproj لتوفير ذاكرة VRAM للخدمات النصية فقط).

اختبره:

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $LLAMA_API_KEY" \
  -d '{
    "model": "qwen3.8-27b",
    "messages": [{"role": "user", "content": "What is Discourse?"}],
    "max_tokens": 200
  }'

تشغيل شيء آخر

أي خادم يتحدث إكمال الدردشة الخاص بـ OpenAI — SGLang، TensorRT-LLM، LM Studio، بوابة مؤسسة، نشر سحابي مخصص — يعمل كما هو: قم بتكوينه في Discourse مع مزود vLLM، وهو عميلنا العام المتوافق مع OpenAI مع دعم الأدوات الأصلي.

إذا كنت تفضل عدم تشغيل الاستدلال بنفسك ولكن لا يزال تريد البقاء بعيدًا عن حصر API الكبيرة، فإن Hugging Face Inference Endpoints (التي تستخدم الآن vLLM كمحرك افتراضي) تعمل مع مزود Hugging Face — توجهه نحو رابط نقطة النهاية /v1/chat/completions.

جعله متاحًا لمثيل Discourse الخاص بك

عادةً ما ستشغل هذا على جهاز مخصص بسبب متطلبات GPU. عند فعل ذلك:

  1. ضع وكيلًا عكسيًا أمام الخادم وأنهائي TLS هناك — سيتحدث Discourse معه عبر HTTPS بسعادة.
  2. حدد نقطة النهاية بواسطة جدار حماية أو شهادة عميل بحيث يمكن لمضيفي Discourse فقط الاتصال. مفتاح API هو مصادقة، وليس حدًا شبكيًا.
  3. حافظ على ذاكرة التخزين المؤقت للنموذج على حجم تخزين دائم بحيث لا يعيد التشغيل إعادة تنزيل عشرات الجيجابايت.

تكوين Discourse AI

يتم تكوين اتصالات LLM من خلال واجهة المستخدم الإدارية بدلاً من إعدادات الموقع. انتقل إلى /admin/plugins/discourse-ai/ai-llms وأضف LLM جديد:

  1. اسم العرض — ما يراه مديروك ومستخدموك.
  2. الاسم — يُرسل في طلب API؛ يجب أن يتطابق مع ما يتوقعه الخادم (Qwen/Qwen3.8-27B لـ vLLM، --alias الخاص بك لـ llama.cpp).
  3. المزود — vLLM لـ vLLM و llama.cpp وأي خادم آخر متوافق مع OpenAI؛ Hugging Face للنقاط المستضافة على HF.
  4. URL — رابط نقطة النهاية الكامل بما في ذلك المسار، مثلاً https://llm.example.com/v1/chat/completions.
  5. مفتاح API — اكتبه، أو أشير إلى مفتاح مخزن من صفحة أسرار AI.
  6. المجزئ (Tokenizer) — Qwen لـ Qwen3.8 (اختر المجزئ المطابق لعائلة نموذجك).
  7. أقصى رموز للمطالبة / أقصى رموز للإخراج — حافظ على المجموع مساويًا أو أقل من --max-model-len / --ctx-size الخاص بخادمك. على سبيل المثال، بخادم يحتوي على 32768 رمز: 28000 للمطالبة و4096 للإخراج. تنفق نماذج التفكير جزءًا من ميزانية الإخراج تلك على التفكير، لذا لا تضغط عليها بشدة.
  8. الرؤية — فعل الرؤية الأصلية إذا كنت قد خدمت النموذج بدعم الصور وتريد منه قراءة الصور.
  9. خيارات المزود (vLLM): اضبط محلل تفكير vLLM على qwen3 ليتطابق مع إعداد الخادم، واستخدم حقول تجاوز التفكير / جهد التفكير / ميزانية رموز التفكير إذا كنت تريد أن يتحكم Discourse في التفكير لكل طلب. اترك خيار “تعطيل الأدوات الأصلية” غير محدد ما لم يكن استدعاء وظائف النموذج معطلاً.

انقر على تشغيل الاختبار قبل الحفظ: يقوم بإطلاق طلب بث وطلب غير بث ويخبرك أيهما فشل.

بعد الحفظ، اجعله الافتراضي للموقع باستخدام إعداد الموقع ai_default_llm_model، أو عيّنه لكل ميزة في /admin/plugins/discourse-ai/ai-features. يتم تكوين الوكلاء الفرديين في صفحة الوكلاء.

تحذير واحد: تضمينات البحث الدلالي لا تأتي من هذا النموذج. تستخدم التضمينات نموذج تضمين خاص بها، يتم تكوينه بشكل منفصل (نموذج تضمين API، أو خادم Text Embeddings Inference مستضاف ذاتيًا عبر إعدادات ai_hugging_face_tei_endpoint). إذا كنت تريد بحث AI مستضاف ذاتيًا بالكامل، قم بتشغيل نموذج تضمين صغير مثل bge-m3 بجانب نموذج LLM الخاص بك.

استكشاف الأخطاء وإصلاحها

العَرَض السبب المحتمل
404 من نقطة النهاية يفتقد الـ URL المسار /v1/chat/completions
model not found الاسم لا يتطابق مع معرف النموذج المخدوم / --alias
401 / 403 عدم تطابق مفتاح API بين --api-key وسجل LLM
تظهر استدعاءات الأدوات كنص JSON في المنشور تم بدء الخادم بدون تحليل استدعاء الأدوات؛ عاد Discourse إلى أدوات XML
تسرب نص التفكير في الإجابة --reasoning-parser مفقود على الخادم، أو إعداد محلل التفكير في Discourse لا يتطابق معه
نفاد ذاكرة CUDA خفض --max-model-len، أضف --quantization fp8، أو خفض --gpu-memory-utilization
انتهت مهلة الطلبات في عمليات التلخيص الطويلة نماذج التفكير بطيئة؛ مهلة HTTP الخاصة بنا هي 6 دقائق — قلل السياق، وخفض جهد التفكير، أو عطّل التفكير
إجابات مقطوعة أقصى رموز للإخراج في Discourse صغير جدًا بمجرد احتساب رموز التفكير
17 إعجابًا

لأي شخص يبحث في هذا الموضوع مع/لأجل:
#Llava-Api-keys

أنا أستخدم vLLM أيضًا. أود أيضًا أن أوصي بنموذج openchat v3.5 0106، وهو نموذج بمعامل 7 مليار أداء جيد جدًا.

أنا في الواقع أقوم بتشغيله بتقنية 4bit quantized لكي يعمل بشكل أسرع.

أنا أقوم بتعيين هذه المهمة لمتدرب. هل هناك توصيات من أي شخص بشأن الخدمة المحددة التي يجب الاشتراك فيها؟ هذا للاختبار. لدى المتدرب حاليًا اختبار تم تكوينه مع OpenAI. إنه يعمل بشكل جيد. إنهم مهتمون بتجربة HuggingFace TGI، ولكن يبدو أنني بحاجة إلى تزويدهم بخادم مخصص مزود بوحدة معالجة رسومات؟ ما هي المواصفات الدنيا للاختبار؟

هل هناك روابط يمكنني تقديمها للمتدرب؟

لم ألقِ نظرة متعمقة على هذا المشروع بعد. أنا فقط أتوقع أن يحتاج المتدرب إلى بعض الموارد وأحاول تقديم بعض التوصيات المعقولة بشأن الخدمات للمتدرب في مجال البحث.

مرحباً، أثناء الكشف باستخدام حاوية vllm بشهادة موقعة ذاتيًا على صندوق GPU في المبنى، لم أجد طريقة جيدة لإضافة شهادة CA الجذرية إلى حاوية discourse حتى تتمكن من الوصول بأمان إلى هذه الخدمة في المبنى عبر https.

على سبيل المثال:

./launcher enter app
curl -L https://vllm.infra.example.com/v1/models
curl: (60) مشكلة شهادة SSL: لا يمكن الحصول على شهادة المصدر المحلي
مزيد من التفاصيل هنا: https://curl.se/docs/sslcerts.html

فشل curl في التحقق من شرعية الخادم وبالتالي لم يتمكن من
إنشاء اتصال آمن به. لمعرفة المزيد حول هذا الموقف و
كيفية إصلاحه، يرجى زيارة صفحة الويب المذكورة أعلاه.

هل هناك طريقة جيدة لإضافة شهادة CA جذرية موقعة ذاتيًا في حاوية discourse والتي ستنجو من تحديثات صور الحاوية؟

على حد علمي، فإن إضافتها في app.yml

run:
  - exec: wget ... && update-ca-certificates

ستعمل بشكل جيد فقط أثناء بناء/إعادة بناء التطبيق.

أي تلميح مرحب به.

تم تقسيم 14 مشاركة إلى موضوع جديد: جعل discourse ai يعمل مع ollama محليًا

هل ستكون هناك طريقة لإضافة رأس HTTP مخصص لطلبات Discourse AI؟ لدينا خادم مزود بوحدة معالجة رسومات (GPU) نستخدمه لأغراض متنوعة، ولديه واجهة برمجة تطبيقات (API) متوافقة مع OpenAI، ولكن لأسباب أمنية، وضعناه خلف بوابة إدارة واجهة برمجة التطبيقات (API Management gateway)، والتي تتطلب رأس HTTP مخصصًا (شيئًا مثل SubscriptionKey) ونحن نوفر مفتاح المصادقة الخاص بنا هنا.

لاحظ أن مفتاح المصادقة هذا مخصص للمرور عبر APIM، وهو يختلف عن مفتاح واجهة برمجة التطبيقات الذي قد يوفره المرء لخدمة مثل واجهة برمجة تطبيقات OpenAI.

سيكون من الرائع إذا كانت هناك طريقة لإضافة رؤوس مخصصة في إعداد كل LLM في صفحة الإعداد admin/plugins/discourse-ai/ai-llms. ربما خيار “مخصص” في القائمة المنسدلة “الموفر” (Provider)، مع خيارات إضافية لحالات الاستخدام مثل هذا؟

إعجاب واحد (1)

الإجابة السريعة هي إضافة مكون إضافي لإضافة هذا الرأس. قد يكون الحل البديل هو خادم وكيل محلي (proxy server) يمكنك الوصول إليه من Discourse، والذي سيضيف الرأس وينقل البيانات مرة أخرى إلى Discourse. يشير مصدر غير موثوق إلى أنه قد تتمكن من جعل NGINX يقوم بذلك نيابة عنك باستخدام شيء مثل

server {
    listen 80;
    
    location / {
        proxy_pass https://api.example.com;
        proxy_set_header SubscriptionKey xyz;
        proxy_set_header Host $host;
    }
}

قد تكون هناك طريقة ذكية لإضافة ذلك إلى إعداد nginx الخاص بـ Discourse في مسار سري معين (يستمع فقط إلى الخادم الخاص بك أيضًا)

إعجاب واحد (1)

مرحباً،

لا أجد هذه الإعدادات:

هل لديك أي اقتراح لتجربة ميزة الترجمة بالذكاء الاصطناعي باستخدام Oollama كخلفية؟

أنشئ نموذج لغة كبير (LLM) جديدًا من خلال الرابط /admin/plugins/discourse-ai/ai-llms/new?llmTemplate=none، واختر OpenAI كمزود، لأن Ollama يدعم توافق واجهة برمجة التطبيقات مع OpenAI كما هو موضح في OpenAI compatibility - Ollama.

إعجاب واحد (1)

شكراً! لاحظت أيضاً أن الرابط يعمل فقط عند تفعيل إضافة الذكاء الاصطناعي :person_facepalming:

بالنسبة لمزود الخدمة المضاف حديثاً، هل لديكم أي اقتراحات حول ما يجب اختياره/تعيينه للإعدادات الإلزامية التالية؟

  1. مرمز الرموز (Tokenizer)
  2. نافذة السياق (Context window)

بالنسبة للنموذج، كنت أفكر في استخدام stablelm2:1.6b أو translategemma:4b لكنني لا أعرف بعد.
في دليل الاستخدام (README) الخاص بالنموذج الأخير، يوجد وصف لموجه الإدخال. أتساءل ما هو الاستعلام الذي ترسله ميزة الترجمة بالذكاء الاصطناعي إلى Ollama. راجع /admin/plugins/discourse-ai/ai-agents/-28/edit

:sweat_smile:

أقرب خيار للنموذج الذي ستختاره. بالنسبة إلى Gemma، يمكنك اختيار مرمذ Gemini.

هنا تحدد الحد الأقصى للسياق لنشر النموذج.

من فضلك لا تفعل ذلك. هذا النموذج قديم جدًا جدًا جدًا جدًا جدًا. إنه أسوأ خيار يمكنك اتخاذه.

هذا النموذج يتأخر عن الجيل الحالي بجيل واحد، وله متطلبات صارمة جدًا لصياغة المطالبات غير المتوافقة مع Discourse. نتوقع نموذج لغوي كبير (LLM) للاستخدام العام القياسي.

بحجم هذه النماذج، أنصح باستخدام Qwen 3.5 أو Gemma 4.

3 إعجابات

شكرًا مجددًا. قمتُ بضبط الإعدادات، وجلبتُ النموذج، وعدلتُ الوكيل، ثم فعلتُ ميزة الترجمة بالذكاء الاصطناعي الآن. لنرى ما سيظهر.

سؤال آخر. كنا نستخدم إضافة المترجم من قبل مع مثيل LibreTranslate مُوفَّر بسخاء. أليس من الممكن ربط ميزة ترجمة Discourse AI بنقطة نهاية LibreTranslate هذه؟ في النهاية، سيكون ذلك أسهل بكثير من الاضطرار إلى استضافة مثيل Ollama على خادم يفتقر إلى قدرات النماذج اللغوية الكبيرة (LLM) الحقيقية.

لماذا لا تستمرون في استخدامها إذن؟ نحن لا نقوم بتحديثها بعد الآن، لكنها ستستمر في العمل كما هي.

تعتمد ميزة الترجمة في Discourse AI على مجموعة قيود مختلفة تمامًا عن تلك الموجودة في إضافة Translator الأصلية، لذلك قمنا ببنائها من الصفر لمعالجة هذا العالم الجديد، حيث تكون الترجمات المعتمدة على نماذج اللغة الكبيرة (LLM) أفضل وأرخص مما كان ممكنًا من قبل باستخدام واجهات برمجة تطبيقات الترجمة المعتمدة على التعلم الآلي.

إعجاب واحد (1)