مرحباً، لقد قمت بتثبيت إضافة Discourse AI ولكني لم أتمكن من إعدادها واستخدامها! لقد قرأت دليل مستخدم Discourse AI باللغة الإنجليزية عدة مرات ولكنني لم أتمكن من فهم إعداداته.
نظرًا لأنني أقوم بالاستضافة الذاتية، فهل أحتاج إلى إعداد الذكاء الاصطناعي بنفسي باستخدام دوكر! على سبيل المثال: السمية
شكرا
هل اتبعت أيضًا الخطوات اللازمة في https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598؟
هذا صحيح. كل الوظائف المذكورة في Processor: Discourse ضمن Module Providers تتطلب منك استخدام docker لإعداد الذكاء الاصطناعي.
docker run -d --rm --gpus all --shm-size 1g -p 8080:80 -v /mnt:/data -e GPTQ_BITS=4 -e GPTQ_GROUPSIZE=32 -e REVISION=gptq-4bit-32g-actorder_True ghcr.io/huggingface/text-generation-inference:latest --model-id TheBloke/Upstage-Llama-2-70B-instruct-v2-GPTQ --max-batch-prefill-tokens=12000 --max-total-tokens=12000 --max-input-length=10000 --quantize=gptq --sharded=true --num-shard=$(lspci | grep NVIDIA | wc -l | tr -d '\\n') --rope-factor=2
استجابة خطأ من الخادم: لم يتمكن من تحديد برنامج تشغيل الجهاز “” بالإمكانيات: [[gpu]].
مثلك تمامًا، الأمر صعب جدًا، لا أفهمه على الإطلاق
هل يمكنك شرح ما جربته وما الذي تحاول تحقيقه؟ (يرجى الرد باللغة الإنجليزية - حتى لو استخدمت جوجل للترجمة)