Discourse AI에 대해

지원
1

안녕하세요, Discourse AI 플러그인을 설치했지만 설정과 사용법을 모르겠습니다. 영문 Discourse AI 매뉴얼을 여러 번 읽어봐도 설정 방법을 파악하지 못했습니다.

제가 셀프호스팅을 하고 있는데, 제가 직접 docker로 AI(예: toxicity)를 구축해야 하는 건가요?

감사합니다.

2

Discourse AI - Self-Hosted Guide 의 필요한 단계도 따랐나요?

3

맞습니다. Module Providers에서 언급된 Processor: Discourse의 모든 기능은 Docker를 사용하여 AI를 직접 구축해야 합니다.

4 
docker run -d --rm --gpus all --shm-size 1g   -p 8080:80   -v /mnt:/data   -e GPTQ_BITS=4   -e GPTQ_GROUPSIZE=32   -e REVISION=gptq-4bit-32g-actorder_True   ghcr.io/huggingface/text-generation-inference:latest   --model-id TheBloke/Upstage-Llama-2-70B-instruct-v2-GPTQ   --max-batch-prefill-tokens=12000   --max-total-tokens=12000   --max-input-length=10000   --quantize=gptq   --sharded=true   --num-shard=$(lspci | grep NVIDIA | wc -l | tr -d '\n')   --rope-factor=2

데몬에서 오류 응답: 기능 [[gpu]]를 가진 디바이스 드라이버 ""를 선택할 수 없습니다.

5

너도 나처럼 힘들구나, 정말 너무 어려워. 도무지 이해가 안 돼.

6

무엇을 시도했고, 어떤 결과를 얻고 싶으신지 설명해 주시겠어요? (구글 번역을 사용하더라도 영어로 답변해 주세요)