# 다른 LLM을 추가할 수 있나요? **URL:** \ **Category:** Support\ **Tags:** ai\ **Created:** [7월 31, 2024, 7:10오후 UTC](https://meta.discourse.org/t/can-i-add-other-llm/319540 "2024-07-31T19:10:42Z")\ **Posts on this page:** 14\ **Page:** 1
**Author:** ![oga](https://avatars.discourse-cdn.com/v4/letter/o/f19dbf/32.png) [@oga](https://meta.discourse.org/u/oga)\ **Post date:** [7월 31, 2024, 7:10오후 UTC](https://meta.discourse.org/t/can-i-add-other-llm/319540/1 "2024-07-31T19:10:43Z")
목록에 없는 LLM의 API 키를 추가할 수 있는 방법이 있나요? 우리는 Deepseek라는 LLM을 사용 중이며 이를 통합하고 싶습니다. API 키 등은 이미 보유하고 있습니다. ---
**Author:** ![NateDhaliwal](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/natedhaliwal/32/313494_2.png) [@NateDhaliwal](https://meta.discourse.org/u/NateDhaliwal)\ **Post date:** [7월 31, 2024, 11:15오후 UTC](https://meta.discourse.org/t/can-i-add-other-llm/319540/2 "2024-07-31T23:15:28Z")
AFAIK, 아니요, Discourse는 아마도 목록에 있는 것만 지원할 것입니다. 제가 틀렸다면, 누구나 자유롭게 반박해 주세요. ---
**Author:** ![sam](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/sam/32/102149_2.png) [@sam](https://meta.discourse.org/u/sam)\ **Post date:** [8월 1, 2024, 12:01오전 UTC](https://meta.discourse.org/t/can-i-add-other-llm/319540/3 "2024-08-01T00:01:13Z")
> [@oga](#): > > Deepseek > **[GitHub - deepseek-ai/DeepSeek-LLM: DeepSeek LLM: Let there be answers](https://github.com/deepseek-ai/DeepSeek-LLM)** > > DeepSeek LLM: Let there be answers VLLM과 함께 작동합니다. VLLM 엔드포인트만 구성하면 바로 사용할 수 있습니다. ---
**Author:** ![oga](https://avatars.discourse-cdn.com/v4/letter/o/f19dbf/32.png) [@oga](https://meta.discourse.org/u/oga)\ **Post date:** [8월 1, 2024, 12:06오전 UTC](https://meta.discourse.org/t/can-i-add-other-llm/319540/4 "2024-08-01T00:06:14Z")
와 !! 정말 감사합니다. 이걸로 한번 시도해볼게요. ---
**Author:** ![Falco](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/falco/32/179432_2.png) [@Falco](https://meta.discourse.org/u/Falco)\ **Post date:** [8월 1, 2024, 3:58오후 UTC](https://meta.discourse.org/t/can-i-add-other-llm/319540/5 "2024-08-01T15:58:38Z")
거의 모든 최신 LLM에 대한 지원을 제공하는 것이 3.3 버전의 주요 초점 중 하나였으며, 마침 오픈 웨이트 LLM이 폐쇄형 LLM을 따라잡기 시작하는 시점에 이를 실현하게 되었습니다. 인스턴스에서 DeepSeek를 설정하는 데 도움이 필요하시면 말씀해 주세요. 이 기능은 막 추가된 것이며, 새로운 기능을 반영하기 위해 모든 문서 업데이트를 진행 중입니다. ---
**Author:** ![oga](https://avatars.discourse-cdn.com/v4/letter/o/f19dbf/32.png) [@oga](https://meta.discourse.org/u/oga)\ **Post date:** [8월 1, 2024, 5:09오후 UTC](https://meta.discourse.org/t/can-i-add-other-llm/319540/6 "2024-08-01T17:09:53Z")
네, 도움이 필요합니다. 이리저리 살펴봤지만 VLLM 없이 어떻게 추가하는지 방법을 찾지 못했습니다. VLLM은 요구 사항이 까다로워서 피하고 싶은 추가 오버헤드입니다. Deepseek뿐만 아니라 다양한 오픈소스 LLM에 대한 통합이 지원되면 좋겠습니다. 제 생각에는 LLM 경쟁이 바로 그 방향으로 향하고 있습니다. 우리가 보는 바로는, 기업들이 데이터를 "클라우드"에 맡기는 것에 대해 망설이는 경향이 있습니다. GPT4ALL, HuggingFace 같은 도구를 사용하여 로컬 인스턴스를 실행할 수 있는 오픈소스가 궁극적으로 선호되는 모델이 될 것입니다. 감사합니다. ---
**Author:** ![Falco](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/falco/32/179432_2.png) [@Falco](https://meta.discourse.org/u/Falco)\ **Post date:** [8월 1, 2024, 6:35오후 UTC](https://meta.discourse.org/t/can-i-add-other-llm/319540/7 "2024-08-01T18:35:18Z")
> [@oga](#): > > 우리가 파악한 바로는, 기업들이 자사의 데이터를 '클라우드’에 제공하는 것에 대해 망설이는 경향이 있습니다. GPT4ALL, HuggingFace와 같은 도구를 사용하여 로컬 인스턴스를 실행할 수 있는 오픈소스가 궁극적으로 선호되는 모델이 될 것입니다. 네, 동의합니다. 그래서 우리는 첫날부터 자체 LLM 실행을 지원하고 있습니다. > [@oga](#): > > VLLM은 요구 사항 때문에 피하고 싶은 또 다른 오버헤드입니다. 무슨 말씀이세요? vLLM은 가장 인기 있는 추론 엔진이며, '오버헤드’라고 보기에는 거리가 멉니다. vLLM을 사용하여 배포하면 개발자가 며칠 만에 작성할 수 있는 임시 Python 스크립트보다 **더 빠르** 는 추론 성능을 얻을 수 있으며, 대부분의 모델의 경우 `docker run --gpus all vllm/vllm-openai:latest --model deepseek-ai/DeepSeek-Coder-V2-Instruct` 명령어 하나로 간단히 실행할 수 있습니다. > [@oga](#): > > 주변을 둘러보았지만 VLLM 없이 추가하는 방법을 찾지 못하겠습니다. 우리의 구현은 통상적인 OpenAI _사실상_ 표준을 따르는 모든 API와 호환되므로, API가 예상되는 요건을 준수하도록 구성하기만 하면 vLLM이나 Hugging Face TGI 없이도 실행할 수 있습니다. ---
**Author:** ![oga](https://avatars.discourse-cdn.com/v4/letter/o/f19dbf/32.png) [@oga](https://meta.discourse.org/u/oga)\ **Post date:** [8월 1, 2024, 7:01오후 UTC](https://meta.discourse.org/t/can-i-add-other-llm/319540/8 "2024-08-01T19:01:44Z")
감사합니다. 제가 읽은 내용(잘못 읽었을 수도 있습니다)에 따르면, VLLM을 배포하려면 새로운 Droplet [Digital Ocean], 즉 VPS가 필요하지 않나요? 아니면 Discourse 인스턴스가 호스팅되는 동일한 Droplet에 배포할 수 있을까요? 가능하다면, 동일한 인스턴스에서 Discourse와 동일한 디렉토리에 배치하나요, 아니면 별도의 디렉토리에 배치하나요? 다시 한번 감사합니다. ---
**Author:** ![Falco](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/falco/32/179432_2.png) [@Falco](https://meta.discourse.org/u/Falco)\ **Post date:** [8월 1, 2024, 9:28오후 UTC](https://meta.discourse.org/t/can-i-add-other-llm/319540/9 "2024-08-01T21:28:02Z")
현재 Discourse 사이트를 어떤 드롭렛으로 실행 중이신가요? 6달러짜리 드롭렛인가요? ---
**Author:** ![oga](https://avatars.discourse-cdn.com/v4/letter/o/f19dbf/32.png) [@oga](https://meta.discourse.org/u/oga)\ **Post date:** [8월 1, 2024, 9:51오후 UTC](https://meta.discourse.org/t/can-i-add-other-llm/319540/10 "2024-08-01T21:51:36Z")
15달러짜리입니다. 2GB RAM인 것 같습니다. 테스트가 끝나면 확장하겠습니다. 감사합니다 ---
**Author:** ![Falco](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/falco/32/179432_2.png) [@Falco](https://meta.discourse.org/u/Falco)\ **Post date:** [8월 2, 2024, 3:48오전 UTC](https://meta.discourse.org/t/can-i-add-other-llm/319540/11 "2024-08-02T03:48:08Z")
> [@oga](#): > > 15달러짜리 거요. 음, 원하시는 이 Deepseek 모델을 돌리기 위한 드롭릿 비용이 월 약 10,000달러가 된다는 사실을 아셨나요? ---
**Author:** ![pangbo](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/pangbo/32/538562_2.png) [@pangbo](https://meta.discourse.org/u/pangbo)\ **Post date:** [8월 2, 2024, 9:29오전 UTC](https://meta.discourse.org/t/can-i-add-other-llm/319540/12 "2024-08-02T09:29:52Z")
아마도 @oga는 자체적으로 오픈소스 모델을 배포하는 대신 공식 Deepseek API 서비스를 사용하려는 것 같습니다. Deepseek의 공식 API는 OpenAI API와 호환되므로, `admin/plugins/discourse-ai/ai-llms` 아래에 새 LLM을 추가하기만 하면 됩니다. !["deepseeek-chat"이라는 제목이 상단 상자에 표시된 설정 페이지의 웹 인터페이스 이미지. (AI가 캡션을 추가함)](https://global.discourse-cdn.com/meta/original/4X/d/e/0/de05c3ba0022ef43c5f71cdade3c5cdee856456a.png) > **[Your First API Call | DeepSeek API Docs](https://api-docs.deepseek.com/)** > > The DeepSeek API uses an API format compatible with OpenAI/Anthropic. By modifying the configuration, you can use the OpenAI/Anthropic SDK or softwares compatible with the OpenAI/Anthropic API to access the DeepSeek API. ---
**Author:** ![oga](https://avatars.discourse-cdn.com/v4/letter/o/f19dbf/32.png) [@oga](https://meta.discourse.org/u/oga)\ **Post date:** [8월 2, 2024, 4:11오후 UTC](https://meta.discourse.org/t/can-i-add-other-llm/319540/13 "2024-08-02T16:11:24Z")
정확히 우리가 하려는 일입니다. 어린아이들과 일반인들이 효과적인 프롬프트를 작성하는 법을 배울 수 있는 플랫폼을 구축하려고 합니다. 단, 그들이 어떤 프롬프트를 입력하는지 모니터링할 수 있는 환경에서 진행하길 원합니다. 한 번 시도해 보고 결과를 확인해 보겠습니다. 이 용도로 오픈소스 모델을 배포하는 것은 비용 부담이 클 것입니다. 감사합니다 ---
**Author:** ![oga](https://avatars.discourse-cdn.com/v4/letter/o/f19dbf/32.png) [@oga](https://meta.discourse.org/u/oga)\ **Post date:** [8월 2, 2024, 4:13오후 UTC](https://meta.discourse.org/t/can-i-add-other-llm/319540/14 "2024-08-02T16:13:06Z")
성스러운 치킨 너겟!! 우리가 원하는 것도 아니고, 감당할 수 있는 것도 아니다.