안녕하세요! 도와드릴 수 있어서 기쁩니다 
오늘 기준, 100만 토큰당 비용을 낮은 순서대로 정리해 드립니다:
Gemini 1.5 Flash
입력: $0.075
출력: $0.30
Claude 3.5 Haiku
입력: $0.80
출력: $4.00
Claude 3.5 Sonnet
입력: $3.00
출력: $15.00
GPT-4o
입력: $2.50
출력: $10.00
DeepSeek-R1
입력: $0.55
출력: $2.19
여기서 언급된 토큰 가격은 프롬프트 캐싱을 고려하지 않은 것입니다. 프롬프트 캐싱을 사용하면 비용을 크게 절감할 수 있습니다. 또한 AI 커뮤니티에서는 Claude 3.5 Sonnet이 OpenAI 모델보다 일관되게 더 나은 코드를 생성한다고 보고하는 경향이 있지만, 저는 두 모델의 품질이 상황에 따라 변동된다고 생각합니다.
그럼에도 불구하고, DeepSeek-R1은 명확한 승자입니다. 단순히 비용 대비 성능이 가장 좋을 뿐만 아니라, 전반적으로 최고의 성능을 제공하기 때문입니다. Chatbot Arena 리더보드도 이를 뒷받침하며, o1보다 높은 순위를 기록하고 있습니다:
어제 DeepSeek는 심각한 사이버 공격을 받아 API가 작동하지 않는 원인이 되었을 가능성이 높았지만, 방금 다시 테스트해 보니 지금은 정상 작동합니다. 이 문제에 대해서도 별도 주제를 열었습니다.
개인정보 보호 측면에서, DeepSeek는 정책에서 명시적으로 데이터가 중국에 저장된다고 밝히고 있습니다(예를 들어, 이는 EU 법률을 완전히 위반하는 것입니다). 또한 중국 공산당(CCP)이 중국 내 모든 기업 데이터에 접근할 수 있다는 것은 공공연한 비밀입니다. 하지만 만약 모든 데이터가 공개된 것이라면, 어차피 사이트가 이론적으로 스크래핑/마이닝될 수 있으므로 크게 신경 쓸 일은 아니라고 생각합니다.
다행히 이 모델은 완전한 오픈 소스이며, LLM 제공업체들도 이를 인지하고 있습니다. 예를 들어, fireworks.ai는 이미 이 모델을 제공하고 있지만, 제 생각에는 입력 $8.00 / 출력 $8.00이라는 가격으로 과다 요구하고 있습니다. 따라서 DeepSeek API는 분명히 경제적인 선택지입니다.
제 커뮤니티에서는 GPT-4o-mini를 RAG(반응형 검색 증강 생성)와 함께 사용하고 있습니다(더 사실적이고 유용한 답변을 제공하기 위해 답변하기 전에 관련 주제를 읽도록 강제합니다) 그리고 엄격한 프롬프트 엔지니어링을 적용하고 있습니다. 아직까지 실패한 적이 없으며, 입력 $0.15 / 출력 $0.60으로 매우 저렴합니다. 하지만 코딩 작업에는 신뢰하지 않는 편입니다 — 코딩은 확실히 o1-mini나 DeepSeek-R1에 맡기는 것이 가장 좋습니다. 보통 제 커뮤니티에서 사용되는 모든 토큰 중 1/3에서 1/2 정도가 캐시됩니다(/admin/plugins/discourse-ai/ai-usage에서 확인할 수 있으며), 이는 캐시된 토큰이 50% 저렴하기 때문에 비용을 추가로 절감해 줍니다.
따라서, 제 커뮤니티가 매일 200만 개의 입력 토큰과 10만 개의 출력 토큰을 사용한다면, 대략적인 비용은 다음과 같습니다:
일일 입력 비용: 약 $0.22
일일 출력 비용: 약 $0.06
…30일 동안 곱하면 = 입력 약 $6.60, 출력 약 $1.80 = 월 $8.40.
이것은 점심값조차 되지 않는 금액입니다.