목록에 없는 LLM의 API 키를 추가할 수 있는 방법이 있나요?
우리는 Deepseek라는 LLM을 사용 중이며 이를 통합하고 싶습니다. API 키 등은 이미 보유하고 있습니다.
AFAIK, 아니요, Discourse는 아마도 목록에 있는 것만 지원할 것입니다.
제가 틀렸다면, 누구나 자유롭게 반박해 주세요.
VLLM과 함께 작동합니다. VLLM 엔드포인트만 구성하면 바로 사용할 수 있습니다.
와 !!
정말 감사합니다. 이걸로 한번 시도해볼게요.
거의 모든 최신 LLM에 대한 지원을 제공하는 것이 3.3 버전의 주요 초점 중 하나였으며, 마침 오픈 웨이트 LLM이 폐쇄형 LLM을 따라잡기 시작하는 시점에 이를 실현하게 되었습니다.
인스턴스에서 DeepSeek를 설정하는 데 도움이 필요하시면 말씀해 주세요. 이 기능은 막 추가된 것이며, 새로운 기능을 반영하기 위해 모든 문서 업데이트를 진행 중입니다.
네, 도움이 필요합니다. 이리저리 살펴봤지만 VLLM 없이 어떻게 추가하는지 방법을 찾지 못했습니다. VLLM은 요구 사항이 까다로워서 피하고 싶은 추가 오버헤드입니다.
Deepseek뿐만 아니라 다양한 오픈소스 LLM에 대한 통합이 지원되면 좋겠습니다. 제 생각에는 LLM 경쟁이 바로 그 방향으로 향하고 있습니다.
우리가 보는 바로는, 기업들이 데이터를 "클라우드"에 맡기는 것에 대해 망설이는 경향이 있습니다. GPT4ALL, HuggingFace 같은 도구를 사용하여 로컬 인스턴스를 실행할 수 있는 오픈소스가 궁극적으로 선호되는 모델이 될 것입니다.
감사합니다.
네, 동의합니다. 그래서 우리는 첫날부터 자체 LLM 실행을 지원하고 있습니다.
무슨 말씀이세요?
vLLM은 가장 인기 있는 추론 엔진이며, '오버헤드’라고 보기에는 거리가 멉니다. vLLM을 사용하여 배포하면 개발자가 며칠 만에 작성할 수 있는 임시 Python 스크립트보다 더 빠르는 추론 성능을 얻을 수 있으며, 대부분의 모델의 경우 docker run --gpus all vllm/vllm-openai:latest --model deepseek-ai/DeepSeek-Coder-V2-Instruct 명령어 하나로 간단히 실행할 수 있습니다.
우리의 구현은 통상적인 OpenAI 사실상 표준을 따르는 모든 API와 호환되므로, API가 예상되는 요건을 준수하도록 구성하기만 하면 vLLM이나 Hugging Face TGI 없이도 실행할 수 있습니다.
감사합니다. 제가 읽은 내용(잘못 읽었을 수도 있습니다)에 따르면, VLLM을 배포하려면 새로운 Droplet [Digital Ocean], 즉 VPS가 필요하지 않나요? 아니면 Discourse 인스턴스가 호스팅되는 동일한 Droplet에 배포할 수 있을까요?
가능하다면, 동일한 인스턴스에서 Discourse와 동일한 디렉토리에 배치하나요, 아니면 별도의 디렉토리에 배치하나요?
다시 한번 감사합니다.
현재 Discourse 사이트를 어떤 드롭렛으로 실행 중이신가요? 6달러짜리 드롭렛인가요?
15달러짜리입니다. 2GB RAM인 것 같습니다. 테스트가 끝나면 확장하겠습니다.
감사합니다
음, 원하시는 이 Deepseek 모델을 돌리기 위한 드롭릿 비용이 월 약 10,000달러가 된다는 사실을 아셨나요?
정확히 우리가 하려는 일입니다. 어린아이들과 일반인들이 효과적인 프롬프트를 작성하는 법을 배울 수 있는 플랫폼을 구축하려고 합니다. 단, 그들이 어떤 프롬프트를 입력하는지 모니터링할 수 있는 환경에서 진행하길 원합니다.
한 번 시도해 보고 결과를 확인해 보겠습니다. 이 용도로 오픈소스 모델을 배포하는 것은 비용 부담이 클 것입니다.
감사합니다
성스러운 치킨 너겟!! 우리가 원하는 것도 아니고, 감당할 수 있는 것도 아니다.