Sobre Discourse AI

Suporte
1

Olá a todos, instalei o plugin Discourse AI, mas não consegui configurá-lo e usá-lo! Li o manual em inglês do Discourse AI várias vezes, mas ainda não consegui entender sua configuração.
Como estou auto-hospedando, preciso configurar a IA usando o Docker sozinho? Por exemplo: toxicidade

Obrigado

2 curtidas
2

Você também seguiu os passos necessários em Discourse AI - Self-Hosted Guide?

3

É isso mesmo. Todos os Processors listados em Module Providers para Discourse exigem que você mesmo configure a IA usando o Docker.

1 curtida
4 
docker run -d --rm --gpus all --shm-size 1g   -p 8080:80   -v /mnt:/data   -e GPTQ_BITS=4   -e GPTQ_GROUPSIZE=32   -e REVISION=gptq-4bit-32g-actorder_True   ghcr.io/huggingface/text-generation-inference:latest   --model-id TheBloke/Upstage-Llama-2-70B-instruct-v2-GPTQ   --max-batch-prefill-tokens=12000   --max-total-tokens=12000   --max-input-length=10000   --quantize=gptq   --sharded=true   --num-shard=$(lspci | grep NVIDIA | wc -l | tr -d '\\n')   --rope-factor=2

Resposta de erro do daemon: não foi possível selecionar o driver de dispositivo “” com capacidades: [[gpu]].

5

Tão doloroso quanto você, é muito difícil, não consigo entender nada.

6

Você pode explicar o que tentou e o que está tentando alcançar? (por favor, responda em inglês - mesmo que você use o Google para traduzir)

7

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.