### Author:  [@Hifihedgehog](https://meta.discourse.org/u/Hifihedgehog)
#### Post date: [9월 7, 2023, 3:01오후 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/43 "2023-09-07T15:01:55Z")
이 Docker 명령어들이 디텍티드 모드(-d 옵션)가 아닌 데는 특별한 이유가 있습니까?
---
### Author:  [@pfaffman](https://meta.discourse.org/u/pfaffman)
#### Post date: [9월 7, 2023, 3:08오후 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/44 "2023-09-07T15:08:13Z")
만약 "이것들을 `-d` 옵션으로 실행해야 하지 않나요?"라는 뜻이라면, 답은 아마도 '네’일 것입니다.
만약 "OP(질문자)가 왜 이 명령어를 `-d` 옵션으로 실행하라고 하지 않았을까요?"라는 뜻이라면, 이는 단순히 어떻게 시작하면 되는지, 어떻게 작동하게 만드는지 보여주기 위한 예시일 뿐이라고 생각합니다. 실제 운영 환경(production)에서 유용하게 사용하려면, 실행 시 ``(다른 설정)을 적용해야 합니다.
---
### Author:  [@Hifihedgehog](https://meta.discourse.org/u/Hifihedgehog)
#### Post date: [9월 7, 2023, 3:14오후 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/45 "2023-09-07T15:14:54Z")
> [@pfaffman](#):
>
> "`-d` 옵션으로 이들을 시작해야 하지 않나요?"라고 하신 거라면, 답은 아마도 그렇습니다.
제 질문이 정확히 그거였는데, 핵심을 찔러주셨네요. 도커 인스턴스를 설정한 지 좀 오래되어서 잊고 있었는데, 이제 다시 기억이 나네요. 프로덕션 환경에서 유용하게 쓰기 위해 제가 해야 할 "다른 것들"이라고 하셨을 때, 도커 인스턴스마다 같은 6666으로 설정된 포트 번호를 변경하는 것(이건 당연하니까) 외에 제가 "이걸 해야 해!"라고 외치고 있는 다른 중요한 사항이 있을까요?
---
### Author:  [@Hifihedgehog](https://meta.discourse.org/u/Hifihedgehog)
#### Post date: [9월 7, 2023, 3:36오후 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/46 "2023-09-07T15:36:21Z")
알겠습니다. 그렇다면 파이프(|)로 구분된 API 키는 서비스 호스트에서 완전히 임의로 설정할 수 있으며, 클라이언트에서 받아들이고 싶은 알파벳과 숫자로 구성된 키를 자유롭게 지정하면 되는 건가요?
---
### Author:  [@pfaffman](https://meta.discourse.org/u/pfaffman)
#### Post date: [9월 7, 2023, 3:40오후 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/47 "2023-09-07T15:40:22Z")
> [@Hifihedgehog](#):
>
> (포트 번호 변경이라는 자명한 사실 aside)
포트 번호 변경이 백그라운드에서 실행하는 것보다 왜 더 “자명하지” 않나요?
바로 그겁니다. 당신이 뭘 자명한 일이라고 생각하는지에 대한 구체적인 맥락이 없으니 그 질문에 답할 수가 없습니다. 대부분, 자신이 그 도구를 유용하게 사용할 수 있는지 확신이 없다면, 여기서 얻을 수 없는 도움이 필요할 가능성이 큽니다. 🤷
---
### Author:  [@Hifihedgehog](https://meta.discourse.org/u/Hifihedgehog)
#### Post date: [9월 7, 2023, 3:53오후 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/48 "2023-09-07T15:53:59Z")
> [@pfaffman](#):
>
> 포트 변경이 백그라운드에서 실행하는 것보다 왜 더 “명백하지(Obvious)” 않나요?
과거에 수십 개의 Docker 컨테이너를 실행해 본 경험이 있기 때문입니다. 다만 지난 2년 동안 Docker를 건드리지 않고 최근 깊이 파고들었습니다. 오랫동안 사용하지 않아 처음에는 명백해 보이지 않았지만, 이 토론을 통해 Docker를 사용하는 데 필요한 이러한 기본적인 핵심 지식이 다시 떠올랐습니다.
> 바로 그 점이 문제입니다. 여러분이 명백하다고 생각하는 것에 대한 친밀한 지식이 없다면, 그 질문에 답하는 것은 불가능합니다. 대부분, 여러분이 그 도구를 유용하게 만드는 방법을 확실히 알고 있지 않다면, 여기서 얻을 수 없는 도움이 필요할 가능성이 높습니다. 🤷
하지만 바로 그 점이 핵심입니다. 저처럼 다른 Docker 시스템에 대한 경험이 있는 사람조차도 때로는 명백한 것이 명백하지 않을 수 있습니다. 여러분이 하신 말을 이렇게 해석할 수도 있습니다. 질문을 하기 전에 이미 답을 알아야 한다는 것입니다. 우리 중 일부는 자원 봉사 서비스로 커뮤니티를 운영하고 있으며, Postgres 데이터 구조와 같은 Discourse의 가장 친밀한 세부 사항까지 24시간 7일 내내 학습하지는 않습니다. 저는 여러분이 저를 차단(shutting down)하고 있다고 느꼈고, 모두가 자유롭게 기꺼이 서로를 도울 수 있어야 할 커뮤니티 포럼에서 이는 감사한 일이 아니었습니다.
여기서 핵심으로 돌아가자면, API\_KEYS가 어떻게 활용되어야 하는지 파악하려고 구글링을 해 보았지만 실패했습니다. 제가 명백한 것을 놓치고 있을 수 있고, 플랫폼의 가장 낮은 수준까지 광범위한 지식을 가진 여러분 같은 Discourse 전문가에게는 그 점이 매우 답답할 수 있다는 것을 이해합니다. 하지만 저는 커뮤니티 토론을 통해 아직 여러분의 숙련 수준에 이르지 않은 다른 사람들도 혜택을 볼 수 있도록 하려는 것입니다. 결국, 그 목적은 Discourse 개발자 이외의 사람들도 이 소프트웨어를 사용할 수 있도록 하는 것이기 때문입니다.
---
### Author:  [@pfaffman](https://meta.discourse.org/u/pfaffman)
#### Post date: [9월 7, 2023, 4:08오후 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/49 "2023-09-07T16:08:39Z")
> [@Hifihedgehog](#):
>
> 과거에 수십 개의 도커 컨테이너를 실행해 본 적이 있기 때문입니다. 다만 지난 2년 동안은 손을 대지 않았어요. 한동안 손을 대지 않았던 탓에 처음에는 바로 파악하기가 쉽지 않았거든요.
그 마음 잘 이해합니다. 실행 중인 서비스는 발견하는데, 어떻게 시작했는지는 거의 기억나지 않는 경우가 생각보다 더 자주 발생하거든요.
> [@Hifihedgehog](#):
>
> 때로는 저처럼 다양한 도커 시스템에 익숙한 사람조차도 명백한 것이 명백하지 않을 때가 있습니다.
맞아요. 스스로 작성해 둔 안내문도 실제로 필요할 때는 이해가 안 될 때가 있죠.
> [@Hifihedgehog](#):
>
> 여러분이 저를 막는 것 같아서, 누구나 자유롭게 기꺼이 서로를 도울 수 있어야 할 커뮤니티 포럼에서 그건 좀 불쾌했어요.
죄송합니다. 무례하거나 악의적으로 말하려는 의도는 아니었는데, 그렇게 보였나 봐요. 제 의도는 이랬습니다. 표준 설치([Standard Install](https://meta.discourse.org/t/142537?silent=true))를 사용하는 사람들을 지원하는 것만으로도 충분히 어려운데, 사용자의 기술 수준이 어떤지, 어떻게 실행할 계획인지, 오픈 인터넷에 노출할지, 그리고 https로 보호하는 방법을 알고 있거나 그렇게 하기를 원하는지(API 키로 보호하고 있다고 생각하신다면 아마 https도 원하실 거예요) 파악하는 건 꽤 복잡한 문제거든요.
네, 다른 사람이 접속할 수 있는 곳에 배포하신다면 `API_KEYS` 변수를 정의하고, 키로 사용할 무작위성을 가진 값을 생성하는 방법을 찾으시는 게 좋을 것 같아요. 그리고 그 동일한 키를 플러그인 설정에 입력하면 됩니다. 저는 그렇게 했어요. 잘못된 키를 사용하면 서비스가 중단되는지 확인은 하지 않았는데, 솔직히 그랬어야 했어요. 곧 플러그인을 추가할 인스턴스에서 한번 확인해 보겠습니다.
다만, OP(질문자)가 `-d` 옵션을 포함하고 `API_KEYS` 환경 변수를 설정해 주시는 게 더 나을 것 같습니다.
---
### Author:  [@Falco](https://meta.discourse.org/u/Falco)
#### Post date: [9월 7, 2023, 4:11오후 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/50 "2023-09-07T16:11:56Z")
> [@Hifihedgehog](#):
>
> 그러면 파이프(|)로 구분된 API 키는 서비스 호스트에서 완전히 임의로 설정되는 건가요? 클라이언트에서 받아들이고 싶은 알파벳/숫자 키를 아무거나 지정하면 되는 건가요?
`API_KEYS` 환경 변수는 선택 사항입니다. 특정 이유로 인해 헤더에 설정된 `API_KEYS` 중 하나를 제공하는 클라이언트만 서비스를 사용할 수 있도록 제한하고 싶을 때 사용할 수 있습니다.
단일 인스턴스로 내부에서 실행하는 경우 실제로는 필요하지 않지만, 인터넷 전체나 공유 환경에서 실행하는 경우 유용할 수 있습니다.
---
### Author:  [@Hifihedgehog](https://meta.discourse.org/u/Hifihedgehog)
#### Post date: [9월 7, 2023, 4:19오후 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/51 "2023-09-07T16:19:28Z")
@Falco님과 @pfaffman님, 도움을 주셔서 감사합니다. 여기서 주제를 벗어난 것 같아 죄송합니다! 두 분의 도움에 진심으로 감사드립니다! 😃
---
### Author:  [@JonahAragon1](https://meta.discourse.org/u/JonahAragon1)
#### Post date: [10월 31, 2023, 5:06오전 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/52 "2023-10-31T05:06:39Z")
이 모든 서비스를 여러 Discourse 설치에서 사용할 수 있습니까, 아니면 사이트별로 실행해야 합니까?
---
### Author:  [@Falco](https://meta.discourse.org/u/Falco)
#### Post date: [10월 31, 2023, 11:43오전 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/53 "2023-10-31T11:43:09Z")
모두 인스턴스 간에 안전하게 공유할 수 있습니다.
---
### Author:  [@satonotdead](https://meta.discourse.org/u/satonotdead)
#### Post date: [12월 14, 2023, 6:17오후 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/55 "2023-12-14T18:17:51Z")
OpenAI API 키를 사용하여 요약(Summarization)을 사용할 수 있을까요?
---
### Author:  [@Falco](https://meta.discourse.org/u/Falco)
#### Post date: [12월 14, 2023, 6:20오후 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/56 "2023-12-14T18:20:15Z")
네, 키를 입력하고 요약 설정에서 OpenAI 모델을 선택하세요.
---
### Author:  [@Jagster](https://meta.discourse.org/u/Jagster)
#### Post date: [12월 14, 2023, 7:54오후 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/57 "2023-12-14T19:54:40Z")
해당 주제가 영어가 아닌 다른 언어를 사용하거나, 영어가 아닌 소수 언어를 사용하는 경우 작은 문제가 하나 있습니다. 처음에는 올바른 언어가 사용되다가 갑자기 영어로 바뀌는 경우가 있습니다. 언어가 바뀌는 방향이 어느 쪽이든, 완전히 무작위로 일어나는 것처럼 보입니다.
---
### Author:  [@dfriestedt](https://meta.discourse.org/u/dfriestedt)
#### Post date: [12월 14, 2023, 9:40오후 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/58 "2023-12-14T21:40:18Z")
요약(Summarization) 엔드포인트를 테스트 중입니다:
`docker run -d --rm --gpus all --shm-size 1g -p 80:80 -v /mnt:/data -e GPTQ_BITS=4 -e GPTQ_GROUPSIZE=32 -e REVISION=gptq-4bit-32g-actorder_True ghcr.io/huggingface/text-generation-inference:latest --model-id TheBloke/Upstage-Llama-2-70B-instruct-v2-GPTQ --max-batch-prefill-tokens=12000 --max-total-tokens=12000 --max-input-length=10000 --quantize=gptq --sharded=true --num-shard=$(lspci | grep NVIDIA | wc -l | tr -d '\n') --rope-factor=2`
하지만 실행하면 다음과 같은 오류가 발생합니다. 이 머신에는 (2)개의 Tesla T4가 있으며, 다른 프로세스가 GPU에 접근하고 있지 않습니다. 아래 사용 현황을 확인해 주세요.
```plaintext
user@gpu2-hc1node:~$ sudo docker logs -f 68e27eb51ee1
2023-12-14T21:30:12.861320Z INFO text_generation_launcher: Args { model_id: "TheBloke/Upstage-Llama-2-70B-instruct-v2-GPTQ", revision: Some("gptq-4bit-32g-actorder_True"), validation_workers: 2, sharded: Some(true), num_shard: Some(2), quantize: Some(Gptq), speculate: None, dtype: None, trust_remote_code: false, max_concurrent_requests: 128, max_best_of: 2, max_stop_sequences: 4, max_top_n_tokens: 5, max_input_length: 10000, max_total_tokens: 12000, waiting_served_ratio: 1.2, max_batch_prefill_tokens: 12000, max_batch_total_tokens: None, max_waiting_tokens: 20, hostname: "68e27eb51ee1", port: 80, shard_uds_path: "/tmp/text-generation-server", master_addr: "localhost", master_port: 29500, huggingface_hub_cache: Some("/data"), weights_cache_override: None, disable_custom_kernels: false, cuda_memory_fraction: 1.0, rope_scaling: None, rope_factor: Some(2.0), json_output: false, otlp_endpoint: None, cors_allow_origin: [], watermark_gamma: None, watermark_delta: None, ngrok: false, ngrok_authtoken: None, ngrok_edge: None, env: false }
2023-12-14T21:30:12.861350Z INFO text_generation_launcher: Sharding model on 2 processes
2023-12-14T21:30:12.861441Z INFO download: text_generation_launcher: Starting download process.
2023-12-14T21:30:19.986231Z INFO text_generation_launcher: Files are already present on the host. Skipping download.
2023-12-14T21:30:20.771527Z INFO download: text_generation_launcher: Successfully downloaded weights.
2023-12-14T21:30:20.771941Z INFO shard-manager: text_generation_launcher: Starting shard rank=1
2023-12-14T21:30:20.771967Z INFO shard-manager: text_generation_launcher: Starting shard rank=0
2023-12-14T21:30:27.769624Z WARN text_generation_launcher: Disabling exllama v2 and using v1 instead because there are issues when sharding
2023-12-14T21:30:27.997163Z WARN text_generation_launcher: Disabling exllama v2 and using v1 instead because there are issues when sharding
2023-12-14T21:30:28.046134Z WARN text_generation_launcher: Unable to use Flash Attention V2: GPU with CUDA capability 7 5 is not supported for Flash Attention V2
2023-12-14T21:30:28.071687Z WARN text_generation_launcher: Could not import Mistral model: Mistral model requires flash attn v2
2023-12-14T21:30:28.072298Z WARN text_generation_launcher: Could not import Mixtral model: Mistral model requires flash attn v2
2023-12-14T21:30:28.241375Z WARN text_generation_launcher: Unable to use Flash Attention V2: GPU with CUDA capability 7 5 is not supported for Flash Attention V2
2023-12-14T21:30:28.262756Z WARN text_generation_launcher: Could not import Mistral model: Mistral model requires flash attn v2
2023-12-14T21:30:28.263363Z WARN text_generation_launcher: Could not import Mixtral model: Mistral model requires flash attn v2
2023-12-14T21:30:30.786133Z INFO shard-manager: text_generation_launcher: Waiting for shard to be ready... rank=1
2023-12-14T21:30:30.786133Z INFO shard-manager: text_generation_launcher: Waiting for shard to be ready... rank=0
2023-12-14T21:30:40.348755Z ERROR text_generation_launcher: Error when initializing model
Traceback (most recent call last):
File "/opt/conda/lib/python3.10/site-packages/text_generation_server/utils/weights.py", line 191, in get_multi_weights_col
qweight = torch.cat(
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 112.00 MiB. GPU 0 has a total capacty of 14.76 GiB of which 74.75 MiB is free. Process 19973 has 14.68 GiB memory in use. Of the allocated memory 13.73 GiB is allocated by PyTorch, and 74.36 MiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
```
모델이 충돌한 후의 `nvidia-smi` 출력.
```plaintext
Thu Dec 14 15:39:55 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.223.02 Driver Version: 470.223.02 CUDA Version: 11.4 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 Tesla T4 Off | 00000000:86:00.0 Off | 0 |
| N/A 54C P0 28W / 70W | 0MiB / 15109MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
| 1 Tesla T4 Off | 00000000:AF:00.0 Off | 0 |
| N/A 55C P0 28W / 70W | 0MiB / 15109MiB | 5% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+
```
모델을 시작하면 두 GPU 모두 사용량이 약 100%까지 증가하다가 충돌합니다.
---
### Author:  [@Falco](https://meta.discourse.org/u/Falco)
#### Post date: [12월 15, 2023, 3:40오전 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/59 "2023-12-15T03:40:33Z")
> [@dfriestedt](#):
>
> `CUDA out of memory`
그 모델을 돌리려면 T4 2개는 턱없이 부족합니다. 해당 환경에서는 프롬프트와 호환되는 7B 모델 등을 시도해 볼 수 있습니다.
---
### Author:  [@dfriestedt](https://meta.discourse.org/u/dfriestedt)
#### Post date: [12월 16, 2023, 10:59오전 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/60 "2023-12-16T10:59:24Z")
다음 모드를 T4에서 실행할 수 있었습니다.
```plaintext
sudo docker run --gpus all --shm-size 1g -p 80:80 -v /home/deeznnutz/discourse/data:/data ghcr.io/huggingface/text-generation-inference:1.3 --model-id tiiuae/falcon-7b-instruct --max-batch-prefill-tokens 2048
```
로컬에서 테스트를 해보았는데 정상적으로 작동합니다:
```plaintext
curl https://Public_URL/generate -X POST -d '{"inputs":"What is Deep Learning?","parameters":{"max_new_tokens":20}}' -H 'Content-Type: application/json'
```
```plaintext
{"generated_text":"\nDeep learning is a branch of machine learning that uses artificial neural networks to learn and make decisions."}
```
하지만 Discourse에서 다음 설정으로 실행을 시도하면
`ai summarization discourse service api endpoint: https://URL/generate/`
`ai summarization discourse service api key: random numbers`
`summarization strategy: Discourse AI's long-t5-tglobal....-book-summary`
다음과 같은 오류가 발생합니다.
```plaintext
Message (6 copies reported)
Job exception: Net::HTTPBadResponse
Backtrace
/var/www/discourse/plugins/discourse-ai/lib/inference/discourse_classifier.rb:13:in `perform!'
/var/www/discourse/plugins/discourse-ai/lib/summarization/strategies/truncate_content.rb:46:in `completion'
/var/www/discourse/plugins/discourse-ai/lib/summarization/strategies/truncate_content.rb:42:in `summarize_with_truncation'
/var/www/discourse/plugins/discourse-ai/lib/summarization/strategies/truncate_content.rb:23:in `summarize'
/var/www/discourse/app/services/topic_summarization.rb:38:in `summarize'
/var/www/discourse/app/jobs/regular/stream_topic_summary.rb:25:in `execute'
/var/www/discourse/app/jobs/base.rb:292:in `block (2 levels) in perform'
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rails_multisite-5.0.0/lib/rails_multisite/connection_management.rb:82:in `with_connection'
/var/www/discourse/app/jobs/base.rb:279:in `block in perform'
/var/www/discourse/app/jobs/base.rb:275:in `each'
```
---
### Author:  [@Falco](https://meta.discourse.org/u/Falco)
#### Post date: [12월 16, 2023, 3:49오후 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/61 "2023-12-16T15:49:28Z")
해당 서비스의 URL을 `ai_hugging_face_api_url` 아래에 설정해야 합니다
---
### Author:  [@dfriestedt](https://meta.discourse.org/u/dfriestedt)
#### Post date: [12월 16, 2023, 4:16오후 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/62 "2023-12-16T16:16:56Z")
사용 중인 모델이 현재 사용 가능한 요약 전략을 지원하지 않는 것 같습니다.
```plaintext
ghcr.io/huggingface/text-generation-inference:1.3 --model-id tiiuae/falcon-7b-instruct
```
---
### Author:  [@Westcan](https://meta.discourse.org/u/Westcan)
#### Post date: [3월 9, 2024, 4:54오전 UTC](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598/63 "2024-03-09T04:54:44Z")
> [@Falco](#):
>
> ### 독성
>
> 분류 서비스의 복사본을 실행하려면 다음을 사용하세요:
독성 분류 서비스를 설치하고 실행한 경우, 이를 비활성화하거나 올바르게 삭제하는 방법에 대해 궁금합니다. 감사합니다
[Previous page](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598.md?page=2)
[Next page](https://meta.discourse.org/t/discourse-ai-self-hosted-guide/259598.md?page=4)