Über Discourse AI

Unterstützung
1

Hallo, ich habe das Discourse AI Plugin installiert, konnte es aber nicht konfigurieren und verwenden! Ich habe die englische Anleitung für Discourse AI mehrmals gelesen, konnte aber die Konfiguration nicht verstehen.
Da ich selbst hoste, muss ich dann KI selbst mit Docker einrichten! Zum Beispiel: Toxizität

Danke

2 „Gefällt mir“
2

Haben Sie auch die notwendigen Schritte unter Discourse AI - Self-Hosted Guide befolgt?

3

Das ist richtig. Alle Funktionen von Processor: Discourse, die in Module Providers erwähnt werden, erfordern, dass Sie KI mit Docker selbst einrichten.

1 „Gefällt mir“
4 
docker run -d --rm --gpus all --shm-size 1g   -p 8080:80   -v /mnt:/data   -e GPTQ_BITS=4   -e GPTQ_GROUPSIZE=32   -e REVISION=gptq-4bit-32g-actorder_True   ghcr.io/huggingface/text-generation-inference:latest   --model-id TheBloke/Upstage-Llama-2-70B-instruct-v2-GPTQ   --max-batch-prefill-tokens=12000   --max-total-tokens=12000   --max-input-length=10000   --quantize=gptq   --sharded=true   --num-shard=$(lspci | grep NVIDIA | wc -l | tr -d '\\n')   --rope-factor=2

Fehlerantwort vom Daemon: Konnte keinen Gerätetreiber “” mit den Fähigkeiten [[gpu]] auswählen.

5

Genauso leidend wie du, es ist wirklich zu schwer, ich verstehe es überhaupt nicht.

6

Können Sie erklären, was Sie versucht haben und was Sie erreichen wollen? (Bitte antworten Sie auf Englisch – auch wenn Sie Google zur Übersetzung verwenden)

7

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.