Sobre Discourse AI

Soporte
1

Hola a todos, he instalado el plugin Discourse AI pero no he podido configurarlo ni usarlo. He leído el manual en inglés de Discourse AI varias veces pero no he podido entender su configuración.
Como lo estoy autoalojando, ¿necesito configurar la IA yo mismo con Docker? Por ejemplo: toxicidad.

Gracias.

2 Me gusta
2

¿También ha seguido los pasos necesarios en Discourse AI - Self-Hosted Guide?

3

Es correcto. Todas las funciones de Processor: Discourse mencionadas en Module Providers requieren que configures IA tú mismo usando docker.

1 me gusta
4

Respuesta de error del demonio: no se pudo seleccionar el controlador de dispositivo “” con capacidades: [[gpu]].

docker run -d --rm --gpus all --shm-size 1g   -p 8080:80   -v /mnt:/data   -e GPTQ_BITS=4   -e GPTQ_GROUPSIZE=32   -e REVISION=gptq-4bit-32g-actorder_True   ghcr.io/huggingface/text-generation-inference:latest   --model-id TheBloke/Upstage-Llama-2-70B-instruct-v2-GPTQ   --max-batch-prefill-tokens=12000   --max-total-tokens=12000   --max-input-length=10000   --quantize=gptq   --sharded=true   --num-shard=$(lspci | grep NVIDIA | wc -l | tr -d '\\n')   --rope-factor=2
5

Igual de doloroso que tú, es demasiado difícil, no lo entiendo en absoluto.

6

¿Puedes explicar qué intentaste y qué intentas lograr? (responde en inglés, incluso si usas Google para traducir)

7

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.