Discourse AIについて

サポート
1

皆さん、Discourse AIプラグインをインストールしましたが、設定や使い方がわかりません！英語のDiscourse AIマニュアルを何度も読みましたが、設定を理解できませんでした。
self-hostingしているので、自分でDockerを使ってAIを構築する必要があるのでしょうか？例えば、toxicityなど。

よろしくお願いします。

「いいね！」 2
2

Discourse AI - Self-Hosted Guide にて、必要な手順も実行しましたか？

3

その通りです。Module Providersで言及されている Processor: Discourse のすべての機能は、ご自身でDockerを使用してAIをセットアップする必要があります。

「いいね！」 1
4 
docker run -d --rm --gpus all --shm-size 1g   -p 8080:80   -v /mnt:/data   -e GPTQ_BITS=4   -e GPTQ_GROUPSIZE=32   -e REVISION=gptq-4bit-32g-actorder_True   ghcr.io/huggingface/text-generation-inference:latest   --model-id TheBloke/Upstage-Llama-2-70B-instruct-v2-GPTQ   --max-batch-prefill-tokens=12000   --max-total-tokens=12000   --max-input-length=10000   --quantize=gptq   --sharded=true   --num-shard=$(lspci | grep NVIDIA | wc -l | tr -d '\\n')   --rope-factor=2

エラー応答: デーモン: [gpu]] を持つデバイスドライバ「」を選択できませんでした。

5

あなたと同じように苦しんでいます。本当に難しくて、全く理解できません。

6

あなたが試したことと、達成しようとしていることを説明していただけますか？（Google翻訳を使用する場合でも、英語で返信してください）

7

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.