물론 '많다는 게 얼마나 많은 건지’나 ‘nano가 있는데 emacs가 vi보다 나은 건가’ 같은 질문은 답하기 어렵고 사실상 불가능한 것임을 잘 알고 있습니다. 하지만 여전히 고민이 됩니다.
이런 AI 관련 기능 때문에 DigitalOcean에서 새 드롭릿을 하나 만들려고 하는데요. 트래픽이 적고 예산도 매우 제한적인 일반적인 포럼에서 16GB RAM을 목표로 할 때, 비용 대비 효용비가 가장 좋은 것은 무엇일까요?
Basic, 112유로 — 8코어 Intel 또는 AMD
General, 126유로 — 4코어
CPU-optimized, 168유로 — 8코어 일반 Intel
Memory-optimized, 84유로 — 2코어
(요즘은 USD와 유로가 거의 같은 비율입니다)
다시 말하지만, 저는 이 분야에 대해 아는 게 전혀 없습니다. 하지만 Discourse는 PHP 기반인 WordPress와 완전히 다른 클라이언트 의존형 앱이므로, CPU 파워가 그렇게 많이 필요하지 않은 거 아닌가요? 아니면 제가 완전히 착각하고 있는 건가요? 하지만 AI 솔루션은 이 판도를 완전히 바꿔버리고 RAM과 CPU를 많이 요구하게 되나요?
그리고 실제로, 그리고 진짜 중요한 질문은 물론이죠: 예를 들어 관련 주제(Related Topics) 블록 같은 기능을 원할 때 최소 비용은 얼마일까요?
AI 기반 “관련 주제” 기능의 주요 문제는 기존 모든 주제에 대한 임베딩(embedding)을 생성해야 한다는 점입니다. 대형 포럼에서는 이 과정에 시간이 오래 걸리며, 운영 측면에서 “비싼” 부분이 됩니다. 그러나 이 작업은 한 번만 수행하면 되므로, 시간당 과금되는 인스턴스를 활용하여 최소한의 비용으로 처리할 수 있습니다.
저희는 현재 이 부분을 적극적으로 작업하고 있으며, 엔터프라이즈 고객사들에게 이 플러그인을 도입하면서 피드백을 수집하는 과정에서 향후 몇 주 동안 이 기능에 대해 많은 변경 사항을 적용할 예정입니다.
그럼에도 불구하고, 10달러 미만의 비용으로 이 기능을 직접 체험해 보고 커뮤니티에 제공할 수 있으며, 초기 피드백을 제공할 수 있다는 점은 저에게는 아주 매력적인 제안으로 보입니다. 다만 이는 여러분의 예산과 시간적 여유에 따라 달라질 수 있습니다.
현재까지 확실하게 알려진 점은, 현재 관련 주제 임베딩에 OP(원문)만 사용하고 있다는 것입니다. 대신 OP와 함께 들어갈 수 있는 답변들을 함께 전달하는 방식으로 실험할 예정이며, 이는 모든 임베딩을 다시 생성해야 함을 의미합니다. 이 경우 추가 비용 $3와 약 1시간의 시간이 다시 소요될 것입니다.
