الإضافة Discourse AI تتمتع بميزات عديدة تتطلب نموذج لغة كبير (LLM) لتفعيلها، مثل التلخيص، مساعد الذكاء الاصطناعي، البحث الدلالي، روبوت الذكاء الاصطناعي، ووكلاؤه. يمكنك استخدام واجهة برمجة التطبيقات (API) لطرف ثالث، مثل تكوين مفاتيح API لـ OpenAI أو تكوين مفاتيح API لـ Anthropic، ولكن تم بناء Discourse AI منذ اليوم الأول بحيث لا تكون مقيدًا بهذه الخيارات.
يغطي هذا الدليل تشغيل نموذج بأوزان مفتوحة بنفسك وربطه بـ Discourse.
النموذج المستخدم هنا: Qwen/Qwen3.8-27B — نموذج كثيف بحجم 27B صدر في أغسطس 2026، يتميز بنافذة سياق أصلية بحجم 256K، وقدرة على فهم الصور/الفيديو، واستدعاء الأدوات، ووضع التفكير مفعل افتراضيًا. يعتبر حاليًا الخيار الأمثل للاستضافة الذاتية: قوي بما يكفي لأعمال التلخيص/الوكلاء الفعلية، وصغير بما يكفي للعمل على وحدة معالجة رسومات (GPU) واحدة. استبدله بأي نموذج آخر يعجبك؛ سيتم توضيح الإعدادات التي تتغير أدناه.
ما يحتاجه Discourse من خادم الاستدلال الخاص بك
- نقطة نهاية متوافقة مع OpenAI لـ
POST /v1/chat/completions(مع دعم البث). - استدعاء أدوات/وظائف أصلي إذا كنت تريد أن يعمل روبوت الذكاء الاصطناعي، أو الوكلاء، أو الإخراج المنظم بشكل جيد. بدون ذلك، يعود Discourse إلى استخدام استدعاءات الأدوات القائمة على XML، والتي تتعامل معها النماذج الأضعف بشكل سيء.
- نافذة سياق حقيقية — استهدف 16K رمز كحد أدنى، ويفضل 32K فأكثر. تنمو أحجام مطالبات Discourse للتلخيص والاسترجاع المعزز بالتوليد (RAG) بسرعة.
- اختياري: إدخال الصور، إذا كنت تريد أن يقرأ النموذج الصور المرفقة بالمنشورات.
أي شيء يلبي المتطلبات الثلاثة الأولى يعمل، لذا فإن الاختيار أدناه يعتمد في الواقع على عتادك.
| الإعداد | مناسب لـ |
|---|---|
| vLLM | خادم GPU مخصص، ذاكرة فيديو (VRAM) ≥24GB (كمية) / 80GB (دقة كاملة)، حركة مرور مستمرة، مستخدمون متعددون |
| llama.cpp | وحدات GPU للمستهلكين، شرائح Apple Silicon، صناديق تعتمد على المعالج فقط، منتدى صغير مفرد |
| إدارة / سحابة | تريد إبعاد النموذج عن حاسوبك المحمول ولكن ليس على عتادك: أي نقطة نهاية متوافقة مع OpenAI |
التشغيل باستخدام vLLM
vLLM هو المحرك الموصى به لخوادم GPU: مرخصة Apache، وخادم متوافق مع OpenAI جاهز للاستخدام، ودعم من الدرجة الأولى لعائلة Qwen.
mkdir -p /opt/vllm-cache
export VLLM_API_KEY="$(openssl rand -hex 24)"
docker run -d --name vllm \
--runtime nvidia --gpus all \
-v /opt/vllm-cache:/root/.cache/huggingface \
-e HF_HOME=/root/.cache/huggingface \
-e "HF_TOKEN=${HF_TOKEN}" \
-p 8080:8000 \
--ipc=host \
vllm/vllm-openai:latest \
Qwen/Qwen3.8-27B \
--host 0.0.0.0 \
--port 8000 \
--max-model-len 32768 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_xml \
--api-key "$VLLM_API_KEY"
ملاحظات حول الإعدادات:
- يحدد
--max-model-lenسياق المطالبة والإخراج وبالتالي ذاكرة KV. يدعم النموذج 256K بشكل أصلي؛ 32K كافية لأعمال المنتدى وتحافظ على ذاكرة الفيديو (VRAM) بشكل متوقع. ارفعها (أو استخدمauto) إذا كانت لديك الذاكرة الكافية. - يفصل
--reasoning-parser qwen3تفكير النموذج في حقل منفصل باسمreasoningبدلاً من إغراقه في الإجابة. يجب أن تعكس هذا الخيار في إعدادات LLM الخاصة بـ Discourse (انظر أدناه). - تفعيل
--enable-auto-tool-choice --tool-call-parser ...يستدعي استدعاء الوظائف الأصلي. تتغير أسماء المحللين بين إصدارات vLLM — تحقق منpython3 -m vllm.entrypoints.openai.api_server --helpداخل صورتك إذا عاد استدعاءات الأدوات كنص عادي. - مطلوب
HF_TOKENفقط للنماذج المقيدة؛ تحمي--api-keyنقطة النهاية الخاصة بك. تحذير من وثائق vLLM: تحمي--api-keyمسارات/v1فقط، لذا حافظ على الخادم بعيدًا عن الإنترنت العام. - هل الذاكرة VRAM محدودة؟ جرب
--quantization fp8(أو نقطة تفتيش مسبقة الكمومية بـ AWQ) قبل تقليص السياق. GPU متعدد: أضف--tensor-parallel-size N.
اختبره:
curl http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $VLLM_API_KEY" \
-d '{
"model": "Qwen/Qwen3.8-27B",
"messages": [{"role": "user", "content": "What is Discourse?"}],
"max_tokens": 200
}'
يجب أن تحصل على جسم JSON عادي لإكمال الدردشة، مع message.reasoning جنبًا إلى جنب مع message.content.
التشغيل باستخدام llama.cpp
llama.cpp هي الأداة المناسبة عندما يجب أن يتسع النموذج في ذاكرة VRAM أقل مما يفضله vLLM، أو عندما تكون على شرائح Apple Silicon، أو AMD، أو Vulkan، أو المعالج فقط. يوضح llama-server الخاص به أيضًا واجهة برمجة تطبيقات متوافقة مع OpenAI.
قم بسحب وتشغيل إصدار GGUF الرسمي باستخدام صورة الحاوية لخلفية النظام الخاصة بك (server-cuda هنا؛ موجودة أيضًا server، server-rocm، server-vulkan وغيرها):
export LLAMA_API_KEY="$(openssl rand -hex 24)"
docker run -d --name llama-server \
--gpus all \
-p 8080:8080 \
-v /opt/llama-models:/models \
ghcr.io/ggml-org/llama.cpp:server-cuda \
-hf ggml-org/Qwen3.8-27B-GGUF:Q4_K_M \
--host 0.0.0.0 \
--port 8080 \
--alias qwen3.8-27b \
--api-key "$LLAMA_API_KEY" \
--ctx-size 16384 \
--n-gpu-layers auto \
--flash-attn auto \
--jinja \
--reasoning auto
Q4_K_Mحوالي 16GB من الأوزان؛ قياس حوالي 18.4 GiB من ذاكرة VRAM عند سياق 8K وحوالي 20 GiB عند 32K، لذا تعمل بطاقة 24GB مع--ctx-sizeمتواضع.unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_Mمن Unsloth هو بديل شائع.- يستخدم
--jinjaقالب الدردشة الخاص بالنموذج نفسه — وهذا ما يجعل استدعاء الأدوات الأصلي يعمل. - يحدد
--aliasالاسم المبلّغ عنه بواسطة API، لذا يطابق اسم النموذج الذي تكتبه في Discourse. - يبلّغ
--reasoning autoعن التفكير بشكل منفصل، مطابقة سلوك--reasoning-parserالخاص بـ vLLM. - يتطلب إدخال الصور مُسقِط الوسائط المتعددة (multimodal projector)؛ مع
-hfيتم جلبه تلقائيًا عادةً، وإلا مرر--mmproj /models/mmproj-...gguf(أو--no-mmprojلتوفير ذاكرة VRAM للخدمات النصية فقط).
اختبره:
curl http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $LLAMA_API_KEY" \
-d '{
"model": "qwen3.8-27b",
"messages": [{"role": "user", "content": "What is Discourse?"}],
"max_tokens": 200
}'
تشغيل شيء آخر
أي خادم يتحدث إكمال الدردشة الخاص بـ OpenAI — SGLang، TensorRT-LLM، LM Studio، بوابة مؤسسة، نشر سحابي مخصص — يعمل كما هو: قم بتكوينه في Discourse مع مزود vLLM، وهو عميلنا العام المتوافق مع OpenAI مع دعم الأدوات الأصلي.
إذا كنت تفضل عدم تشغيل الاستدلال بنفسك ولكن لا يزال تريد البقاء بعيدًا عن حصر API الكبيرة، فإن Hugging Face Inference Endpoints (التي تستخدم الآن vLLM كمحرك افتراضي) تعمل مع مزود Hugging Face — توجهه نحو رابط نقطة النهاية /v1/chat/completions.
جعله متاحًا لمثيل Discourse الخاص بك
عادةً ما ستشغل هذا على جهاز مخصص بسبب متطلبات GPU. عند فعل ذلك:
- ضع وكيلًا عكسيًا أمام الخادم وأنهائي TLS هناك — سيتحدث Discourse معه عبر HTTPS بسعادة.
- حدد نقطة النهاية بواسطة جدار حماية أو شهادة عميل بحيث يمكن لمضيفي Discourse فقط الاتصال. مفتاح API هو مصادقة، وليس حدًا شبكيًا.
- حافظ على ذاكرة التخزين المؤقت للنموذج على حجم تخزين دائم بحيث لا يعيد التشغيل إعادة تنزيل عشرات الجيجابايت.
تكوين Discourse AI
يتم تكوين اتصالات LLM من خلال واجهة المستخدم الإدارية بدلاً من إعدادات الموقع. انتقل إلى /admin/plugins/discourse-ai/ai-llms وأضف LLM جديد:
- اسم العرض — ما يراه مديروك ومستخدموك.
- الاسم — يُرسل في طلب API؛ يجب أن يتطابق مع ما يتوقعه الخادم (
Qwen/Qwen3.8-27Bلـ vLLM،--aliasالخاص بك لـ llama.cpp). - المزود — vLLM لـ vLLM و llama.cpp وأي خادم آخر متوافق مع OpenAI؛ Hugging Face للنقاط المستضافة على HF.
- URL — رابط نقطة النهاية الكامل بما في ذلك المسار، مثلاً
https://llm.example.com/v1/chat/completions. - مفتاح API — اكتبه، أو أشير إلى مفتاح مخزن من صفحة أسرار AI.
- المجزئ (Tokenizer) — Qwen لـ Qwen3.8 (اختر المجزئ المطابق لعائلة نموذجك).
- أقصى رموز للمطالبة / أقصى رموز للإخراج — حافظ على المجموع مساويًا أو أقل من
--max-model-len/--ctx-sizeالخاص بخادمك. على سبيل المثال، بخادم يحتوي على 32768 رمز: 28000 للمطالبة و4096 للإخراج. تنفق نماذج التفكير جزءًا من ميزانية الإخراج تلك على التفكير، لذا لا تضغط عليها بشدة. - الرؤية — فعل الرؤية الأصلية إذا كنت قد خدمت النموذج بدعم الصور وتريد منه قراءة الصور.
- خيارات المزود (vLLM): اضبط محلل تفكير vLLM على
qwen3ليتطابق مع إعداد الخادم، واستخدم حقول تجاوز التفكير / جهد التفكير / ميزانية رموز التفكير إذا كنت تريد أن يتحكم Discourse في التفكير لكل طلب. اترك خيار “تعطيل الأدوات الأصلية” غير محدد ما لم يكن استدعاء وظائف النموذج معطلاً.
انقر على تشغيل الاختبار قبل الحفظ: يقوم بإطلاق طلب بث وطلب غير بث ويخبرك أيهما فشل.
بعد الحفظ، اجعله الافتراضي للموقع باستخدام إعداد الموقع ai_default_llm_model، أو عيّنه لكل ميزة في /admin/plugins/discourse-ai/ai-features. يتم تكوين الوكلاء الفرديين في صفحة الوكلاء.
تحذير واحد: تضمينات البحث الدلالي لا تأتي من هذا النموذج. تستخدم التضمينات نموذج تضمين خاص بها، يتم تكوينه بشكل منفصل (نموذج تضمين API، أو خادم Text Embeddings Inference مستضاف ذاتيًا عبر إعدادات ai_hugging_face_tei_endpoint). إذا كنت تريد بحث AI مستضاف ذاتيًا بالكامل، قم بتشغيل نموذج تضمين صغير مثل bge-m3 بجانب نموذج LLM الخاص بك.
استكشاف الأخطاء وإصلاحها
| العَرَض | السبب المحتمل |
|---|---|
404 من نقطة النهاية |
يفتقد الـ URL المسار /v1/chat/completions |
model not found |
الاسم لا يتطابق مع معرف النموذج المخدوم / --alias |
401 / 403 |
عدم تطابق مفتاح API بين --api-key وسجل LLM |
| تظهر استدعاءات الأدوات كنص JSON في المنشور | تم بدء الخادم بدون تحليل استدعاء الأدوات؛ عاد Discourse إلى أدوات XML |
| تسرب نص التفكير في الإجابة | --reasoning-parser مفقود على الخادم، أو إعداد محلل التفكير في Discourse لا يتطابق معه |
| نفاد ذاكرة CUDA | خفض --max-model-len، أضف --quantization fp8، أو خفض --gpu-memory-utilization |
| انتهت مهلة الطلبات في عمليات التلخيص الطويلة | نماذج التفكير بطيئة؛ مهلة HTTP الخاصة بنا هي 6 دقائق — قلل السياق، وخفض جهد التفكير، أو عطّل التفكير |
| إجابات مقطوعة | أقصى رموز للإخراج في Discourse صغير جدًا بمجرد احتساب رموز التفكير |