Riguardo a Discourse AI

Supporto
1

Ciao a tutti, ho installato il plugin Discourse AI ma non sono riuscito a configurarlo e utilizzarlo! Ho letto più volte il manuale di Discourse AI in inglese ma non sono riuscito a capirne la configurazione.
Dato che sono self-hosting, devo configurare l’AI da solo con docker! Ad esempio: toxicity

Grazie

2 Mi Piace
2

Hai seguito anche i passaggi necessari in Discourse AI - Self-Hosted Guide?

3

È proprio così. Tutti i Processor menzionati in Module Providers per Discourse richiedono di configurare l’AI tramite docker.

1 Mi Piace
4 
docker run -d --rm --gpus all --shm-size 1g   -p 8080:80   -v /mnt:/data   -e GPTQ_BITS=4   -e GPTQ_GROUPSIZE=32   -e REVISION=gptq-4bit-32g-actorder_True   ghcr.io/huggingface/text-generation-inference:latest   --model-id TheBloke/Upstage-Llama-2-70B-instruct-v2-GPTQ   --max-batch-prefill-tokens=12000   --max-total-tokens=12000   --max-input-length=10000   --quantize=gptq   --sharded=true   --num-shard=$(lspci | grep NVIDIA | wc -l | tr -d '\\n')   --rope-factor=2

Risposta di errore dal demone: impossibile selezionare il driver del dispositivo “” con capacità: [[gpu]].

5

So painful, it’s too difficult, I don’t understand at all

6

Puoi spiegare cosa hai provato e cosa stai cercando di ottenere? (rispondi in inglese, anche se usi Google per tradurre)

7

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.