О Discourse AI

Поддержка
1

Всем привет! Я установил плагин Discourse AI, но не могу его настроить и использовать! Я несколько раз читал английскую документацию по Discourse AI, но так и не понял, как его настроить.
Так как я использую self-hosting, мне ли нужно самостоятельно разворачивать ИИ с помощью Docker? Например, для определения токсичности.

Спасибо.

2

Вы также выполнили необходимые шаги в Discourse AI - Self-Hosted Guide?

3

Именно так. Все функции Processor: Discourse, упомянутые в разделе «Модульные провайдеры», требуют самостоятельного развёртывания AI с помощью Docker.

4 
docker run -d --rm --gpus all --shm-size 1g   -p 8080:80   -v /mnt:/data   -e GPTQ_BITS=4   -e GPTQ_GROUPSIZE=32   -e REVISION=gptq-4bit-32g-actorder_True   ghcr.io/huggingface/text-generation-inference:latest   --model-id TheBloke/Upstage-Llama-2-70B-instruct-v2-GPTQ   --max-batch-prefill-tokens=12000   --max-total-tokens=12000   --max-input-length=10000   --quantize=gptq   --sharded=true   --num-shard=$(lspci | grep NVIDIA | wc -l | tr -d '\n')   --rope-factor=2

Ошибка ответа от демона: не удалось выбрать драйвер устройства “” с возможностями: [[gpu]].

5

Так же больно, как и тебе, это невероятно сложно, я совершенно не понимаю.

6

Можете объяснить, что вы пробовали сделать и чего хотите добиться? (Пожалуйста, ответьте на английском — даже если вы используете Google Переводчик).