DeepSeek가 방금 오픈소스 추론 모델 “R1”(API 포함)을 출시했는데, OpenAI의 o1과 동등한 성능을 갖추고 있으면서도 GPT-4o-mini 수준의 비용을 자랑합니다. 정말 놀랍고 유용한 모델인데, 특히 비용 면에서 그렇습니다. 하지만 현재 LLM 설정 페이지에서 아직 지원되지 않습니다. 
아 진짜, 왜 생각 못 했지… 고마워 
API를 가져와서 @Falco 님이 설명하신 대로 연결을 마쳤고, 프롬프트를 살짝 조정하니 정말 놀라운 응답을 받을 수 있었습니다. 정말 훌륭합니다. 하지만 불행히도 그들의 개인정보 보호 정책과 이용약관을 읽어보니, 사용자가 수행하는 모든 데이터를 사용, 공유, 소유한다고 명시되어 있었습니다. 또한 본사가 중국에 있습니다. 아무리 훌륭한 서비스라도 사생활 보호 문제로 인해 커뮤니티에서 사용하기는 어려울 것 같습니다.
Discourse에서 API 키를 사용해 사용할 수 있는 오픈소스 모델에 대한 추천이 있을까요? GPT-4o와 mini도 모두 훌륭하지만, 이런 추론 모델들이 정말 매력적으로 느껴집니다.
좋은 지적입니다. 다행히 R1은 완전히 오픈소스이며, 누군가가 이를 다시 파인튜닝하여 중국식 필터링과 검열 등을 제거하는 것은 시간문제일 것입니다. 그렇게 되면 아마도 다양한 클라우드 서비스 제공업체(Bedrock, Groq 등)에서 주요 모델로 자리 잡을 거라고 생각합니다. 현재로서는 o1을 제외하고는 R1과 비교할 만한 다른 모델이 없습니다. 실제로 벤치마크에 따르면 R1은 몇 가지 측면에서 o1보다 약간 더 우수합니다.
@MachineScholar 이 주제를 열어주셔서, 그리고 평가해 주셔서 감사합니다. 저는 이 새로운 AI 세계가 다소 벅차게 느껴집니다. 저는 AI 비용을 구현하고 분석하는 인턴을 감독하고 있습니다. 비용 차이에 대해 일반인도 이해할 수 있는 대략적인 관점에서 설명해 주실 수 있을까요?
현재 저희가 실행 중인 LLM들은 다음과 같습니다:
- Claude 3.5 Haiku
- Claude 3.5 Sonnet
- Gemini 1.5 Flash
- GPT-4 Omni
다른 인턴이 특정 프로그래밍 작업에서 GPT-o4와 o1에 비해 매우 훌륭하다고 오늘 열정적으로 말해서 DeepSeek R1을 구현하는 것을 고려하고 있습니다.
두 인턴 모두 컴퓨터 과학자이고 젊은 세대라 새로운 기술에 대한 열정은 넘칩니다. 
또한, 제 Discourse 포럼에 공개 데이터가 있다면 DeepSeek의 개인 정보 처리 약관에 대해 걱정해야 하나요? 제 생각에는, 만약 DeepSeek가 훌륭하고 비용을 절감해 준다면 왜 사용하지 않겠는가 하는 것입니다. 하지만 당연히 커뮤니티에 해를 끼치지는 않으려고 합니다.
안녕하세요! 도와드릴 수 있어서 기쁩니다
오늘 기준, 100만 토큰당 비용을 낮은 순서대로 정리해 드립니다:
Gemini 1.5 Flash
입력: $0.075
출력: $0.30
Claude 3.5 Haiku
입력: $0.80
출력: $4.00
Claude 3.5 Sonnet
입력: $3.00
출력: $15.00
GPT-4o
입력: $2.50
출력: $10.00
DeepSeek-R1
입력: $0.55
출력: $2.19
여기서 언급된 토큰 가격은 프롬프트 캐싱을 고려하지 않은 것입니다. 프롬프트 캐싱을 사용하면 비용을 크게 절감할 수 있습니다. 또한 AI 커뮤니티에서는 Claude 3.5 Sonnet이 OpenAI 모델보다 일관되게 더 나은 코드를 생성한다고 보고하는 경향이 있지만, 저는 두 모델의 품질이 상황에 따라 변동된다고 생각합니다.
그럼에도 불구하고, DeepSeek-R1은 명확한 승자입니다. 단순히 비용 대비 성능이 가장 좋을 뿐만 아니라, 전반적으로 최고의 성능을 제공하기 때문입니다. Chatbot Arena 리더보드도 이를 뒷받침하며, o1보다 높은 순위를 기록하고 있습니다:
어제 DeepSeek는 심각한 사이버 공격을 받아 API가 작동하지 않는 원인이 되었을 가능성이 높았지만, 방금 다시 테스트해 보니 지금은 정상 작동합니다. 이 문제에 대해서도 별도 주제를 열었습니다.
개인정보 보호 측면에서, DeepSeek는 정책에서 명시적으로 데이터가 중국에 저장된다고 밝히고 있습니다(예를 들어, 이는 EU 법률을 완전히 위반하는 것입니다). 또한 중국 공산당(CCP)이 중국 내 모든 기업 데이터에 접근할 수 있다는 것은 공공연한 비밀입니다. 하지만 만약 모든 데이터가 공개된 것이라면, 어차피 사이트가 이론적으로 스크래핑/마이닝될 수 있으므로 크게 신경 쓸 일은 아니라고 생각합니다.
다행히 이 모델은 완전한 오픈 소스이며, LLM 제공업체들도 이를 인지하고 있습니다. 예를 들어, fireworks.ai는 이미 이 모델을 제공하고 있지만, 제 생각에는 입력 $8.00 / 출력 $8.00이라는 가격으로 과다 요구하고 있습니다. 따라서 DeepSeek API는 분명히 경제적인 선택지입니다.
제 커뮤니티에서는 GPT-4o-mini를 RAG(반응형 검색 증강 생성)와 함께 사용하고 있습니다(더 사실적이고 유용한 답변을 제공하기 위해 답변하기 전에 관련 주제를 읽도록 강제합니다) 그리고 엄격한 프롬프트 엔지니어링을 적용하고 있습니다. 아직까지 실패한 적이 없으며, 입력 $0.15 / 출력 $0.60으로 매우 저렴합니다. 하지만 코딩 작업에는 신뢰하지 않는 편입니다 — 코딩은 확실히 o1-mini나 DeepSeek-R1에 맡기는 것이 가장 좋습니다. 보통 제 커뮤니티에서 사용되는 모든 토큰 중 1/3에서 1/2 정도가 캐시됩니다(/admin/plugins/discourse-ai/ai-usage에서 확인할 수 있으며), 이는 캐시된 토큰이 50% 저렴하기 때문에 비용을 추가로 절감해 줍니다.
따라서, 제 커뮤니티가 매일 200만 개의 입력 토큰과 10만 개의 출력 토큰을 사용한다면, 대략적인 비용은 다음과 같습니다:
일일 입력 비용: 약 $0.22
일일 출력 비용: 약 $0.06
…30일 동안 곱하면 = 입력 약 $6.60, 출력 약 $1.80 = 월 $8.40.
이것은 점심값조차 되지 않는 금액입니다.
이것은 또 다른 메타 포스트에 불과하지만, 운동과 체중 감량에 관한 질문으로 DeepSeek을 테스트해 보았습니다. 환각(hallucination)이 가득한 매우 나쁜 답변을 받았는데, 이는 제가 들은 다른 경험들과도 일치합니다.
즉, 가격표는 이야기의 일부일 뿐입니다. 그 가격에 무엇을 얻을 수 있는지도 중요한 부분입니다.
아, 네, 정말 좋은 지적이네요. 저는 RAG나 다른 형태의 정보 주입 없이 LLM을 거의 사용하지 않기 때문에 이 부분을 잊고 있었습니다. R1은 "비판적 사고"를 통해 아이디어를 브레인스토밍할 때 제게 정말 빛을 발합니다. 다만, 이를 위해서는 훌륭한 프롬프트 엔지니어링이 필수적입니다.
정리하자면: R1은 처음부터 추론 지향 강화학습으로 훈련되었기 때문에, 그 단순한 내부 "정보 검색"이 "과잉 사고(overthinking)
저도 일관성 없는 응답을 몇 번 받았습니다. 하지만 의도적으로 몇 개의 좋은 학습 예시를 만들어 특정 용도의 RAG 텍스트 파일에 넣긴 했습니다. 분명히 아직 실전에 쓸 수 있는 수준은 아닙니다. hopefully OpenAI가 더 비용 효율적인 추론 모델을 출시해서 우리가 사용할 수 있길 바랍니다.
@MachineScholar 비용 분석과 이 주제에 대한 이해를 도운 점 진심으로 감사드립니다. 저도 새로운 정보에 압도된 상태이지만, 젊은 컴퓨터 과학 인턴들은 스펀지처럼 정보를 흡수하는 것 같습니다. 저보다 8배는 빠르게 생각하고 있을지도 모르겠네요…
현재 인턴 한 명이 두 개의 다른 Discourse 커뮤니티용 AI 플러그인 작업을 맡고 있습니다. 인턴들에게는 급여를 지급하고 있지만, 비용이 저렴하고 열정도 매우 높습니다. AI 작업을 주로 담당하는 인턴은 캘리포니아 대학교 컴퓨터 과학 프로그램에 재학 중인데, 미래가 명확히 자신들의 몫인 그토록 젊은 집단에서 캠퍼스 내 논의는 어떤 분위기일지 늘 궁금합니다.
또한 연구 환경은 어떠신지도 궁금합니다. 기술에 깊이 관여하고 계신 것 같은데, 참으로 흥미로운 시기에 참여하고 계시네요. 정말 설레는 일입니다.
다음 질문은 새로운 주제로 시작할 것 같습니다. 인턴이 AI 봇을 위해 Google Custom Search와 GitHub Token 접근을 구현하고 있습니다. 정확히 이것이 무엇인지 아직 잘 모르겠습니다. 하지만 AI 봇이 GitHub 저장소에 접근하여 문서를 탐색할 수 있기를 희망하고 있습니다. 무엇이 가능한지 정확히 파악하지 못했습니다. 또한 Discourse AI 플러그인에 검색 증강 생성(RAG)이 사용되는지 여부도 알지 못합니다.
DeepSeek R1과 o1의 효용성에 대해 말하자면, 다른 인턴이 Web 앱 UI(ChatGPT Plus 사용)를 통해 CS 프로젝트에 이를 활용하는 것에 대해 저와 이야기한 적이 있습니다. 따라서 테스트는 매우 비공식적이었지만, 인턴 중 한 명이 DeepSeek에 대해 보여준 열정은 상당했습니다.
실제로 AI 구현 작업을 맡고 있는 인턴은 LLM 간의 차이점에 대해 훨씬 더 신중한 태도를 보이고 있습니다. 지금까지는 주로 비용과 사용량 표를 제공했을 뿐, 사용상 차이에 대한 언급은 제한적이었습니다. 우리는 커뮤니티에 모든 LLM을 제공하여 직접 평가하도록 할 예정입니다. 따라서 인턴이 현재로서는 자신의 의견을 낮게 유지하는 것이 현명한 판단입니다.
제 여정에서 도움을 주신 점 다시 한번 감사드립니다.
Deepseek은 AI 업계, 비즈니스, 그리고 기업 전반에 걸쳐 깊은 영향을 미치고 있습니다.
그들은 모든 측면에서 적은 자원으로 더 많은 것을 해냅니다. 기술적 차이에 대해 검색해 보시면, 저는 로컬 클라이언트를 사용하여 Reddit에서 관련 정보를 찾았습니다. 그들의 정책에 동의하지는 않지만, 거기서 내용을 확인할 수 있습니다.
수십억 달러의 벤처 펀드 없이도 더 나은 작업을 수행하기 위한 그들의 인내심이 인상적입니다. 많은 국가에서 OpenAI는 매우 비싸며, 이는 인터넷이나 우리의 디지털 시대가 지향해야 할 바가 아닙니다.
물론 CPC(중국공산당)가 직접 관여하고 있지만, 요즘 서구의 법률과 정부는 거의 비슷하게 파탄 나 있는 상태입니다.
이 모델은 OpenAI처럼 검열되어 있습니다(예: 톈안먼 광장이나 가자 지구) 하지만, 기존의 일반적인 비용의 1/10~1/20 수준에서 정말로 뛰어난 성능을 발휘합니다.
저는 이것이 사용자와 기술에 좋은 일이라고 생각합니다. 기존 서비스들은 그들의 접근 방식을 변경하거나, 아니면 사람들이 선택할 수 있도록 해야 합니다.
도와드릴 수 있어서 정말 기쁩니다!
요즘 컴퓨터 과학 분야에 있으면 적응하고 빠르게 학습하는 능력이 필수입니다. 하지만 가끔은 꽤 지칠 때도 있죠. 캘리포니아의 혁신적인 캠퍼스들이 최전선에서 활동하고 있을 것 같습니다. 저는 캘리포니아 대학들의 수많은 연구소에서 지능과 인지 분야에 대한 최첨단 연구가 이루어지고 있다는 점을 잘 알고 있습니다.
현재 저는 지능형 교육 기술을 개발하는 제 회사를 운영하고 있으며, 프로토 마인드(proto-mind)를 구축하고 이를 위한 비즈니스 활용 사례를 찾는 작은 AI 연구소에서도 일하고 있습니다. 가까운 미래에는 제 고유한 연구 관심사인 지능형 우주 탐사 시스템을 위해 제 연구소를 설립할 예정입니다. AI 세계는 정말 흥미롭습니다 — 맞습니다 — 하지만 가끔은 모든 것이 느려졌으면 좋겠다는 생각이 듭니다. 그래야 계속 뒤쫓아 다닐 필요가 없으니까요 하하!
Google Custom Search와 GitHub Token 액세스는 각각 AI 봇이 Google 검색과 GitHub(프로그래밍 관련 작업)에 접근할 수 있게 해줍니다. 또한, Discourse AI 봇은 포럼의 주제나 게시물을 읽을 때 실제로 RAG(검색 증강 생성)를 사용합니다. 내용을 읽은 후 해당 텍스트를 추가 컨텍스트로 사용하여 더 잘 파악된 텍스트를 생성합니다.
인턴들이 트렌드를 따라가는 법을 아는 것은 정말 좋은 일입니다. 그러나 LLM은 항상 과장된다는 점도 기억하는 것이 현명할 것입니다. 그것은 시장에 좋은 일이기 때문입니다. 대형 LLM 개발업체들은 이를 과장할 동기가 있습니다. 물론, 인정하건대, 이러한 시스템은 시간이 지남에 따라 점점 더 인상 깊어지고 있습니다.
@oppman 언제든지 필요한 것이 있으면 DM을 보내주세요! 우리는 모두 함께이니까요!