À propos de Discourse AI

Soutien
1

Bonjour, j’ai installé le plugin Discourse AI mais je n’ai pas réussi à le configurer et à l’utiliser ! J’ai lu plusieurs fois le manuel d’utilisation de Discourse AI en anglais mais je n’ai pas réussi à maîtriser sa configuration.
Étant en auto-hébergement, dois-je installer l’IA moi-même avec Docker ! Par exemple : toxicity

Merci

2 « J'aime »
2

Avez-vous également suivi les étapes nécessaires dans Discourse AI - Self-Hosted Guide ?

3

C’est exact. Tous les processeurs mentionnés dans Module Providers pour les fonctionnalités de Discourse nécessitent que vous configuriez vous-même l’IA à l’aide de Docker.

C’est exact. Toutes les fonctions de Processor: Discourse mentionnées dans Module Providers nécessitent que vous utilisiez docker pour configurer l’IA.

1 « J'aime »
4 
docker run -d --rm --gpus all --shm-size 1g   -p 8080:80   -v /mnt:/data   -e GPTQ_BITS=4   -e GPTQ_GROUPSIZE=32   -e REVISION=gptq-4bit-32g-actorder_True   ghcr.io/huggingface/text-generation-inference:latest   --model-id TheBloke/Upstage-Llama-2-70B-instruct-v2-GPTQ   --max-batch-prefill-tokens=12000   --max-total-tokens=12000   --max-input-length=10000   --quantize=gptq   --sharded=true   --num-shard=$(lspci | grep NVIDIA | wc -l | tr -d '\\n')   --rope-factor=2

Erreur de réponse du démon : impossible de sélectionner le pilote de périphérique « » avec les capacités : [[gpu]].

5

Je souffre autant que toi, c’est vraiment trop difficile, je ne comprends rien du tout.

6

Pouvez-vous expliquer ce que vous avez essayé et ce que vous essayez d’accomplir ? (veuillez répondre en anglais - même si vous utilisez Google pour traduire)

7

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.