Ciao a tutti, ho installato il plugin Discourse AI ma non sono riuscito a configurarlo e utilizzarlo! Ho letto più volte il manuale di Discourse AI in inglese ma non sono riuscito a capirne la configurazione.
Dato che sono self-hosting, devo configurare l’AI da solo con docker! Ad esempio: toxicity
Grazie
Hai seguito anche i passaggi necessari in Discourse AI - Self-Hosted Guide?
È proprio così. Tutti i Processor menzionati in Module Providers per Discourse richiedono di configurare l’AI tramite docker.
docker run -d --rm --gpus all --shm-size 1g -p 8080:80 -v /mnt:/data -e GPTQ_BITS=4 -e GPTQ_GROUPSIZE=32 -e REVISION=gptq-4bit-32g-actorder_True ghcr.io/huggingface/text-generation-inference:latest --model-id TheBloke/Upstage-Llama-2-70B-instruct-v2-GPTQ --max-batch-prefill-tokens=12000 --max-total-tokens=12000 --max-input-length=10000 --quantize=gptq --sharded=true --num-shard=$(lspci | grep NVIDIA | wc -l | tr -d '\\n') --rope-factor=2
Risposta di errore dal demone: impossibile selezionare il driver del dispositivo “” con capacità: [[gpu]].
So painful, it’s too difficult, I don’t understand at all
Puoi spiegare cosa hai provato e cosa stai cercando di ottenere? (rispondi in inglese, anche se usi Google per tradurre)