S3 백업 관련 질문

지원
,
1

저는 개발자도 아니고 이 주제에 대해 전문가도 아니니, 좀 이해해 주셨으면 합니다…

몇 달 전에 Discourse를 설치했을 때(일단 해제해야 했지만, 내년쯤 다시 돌아올 예정입니다) 일일 백업 파일이 매우 작다는 것을 알게 되었습니다(물론, 당시에는 아직 구축/디자인 단계였고 회원도 없었으며, 실질적인 트래픽이나 새로운 콘텐츠도 없었기 때문입니다). 백업 파일 하나당 대략 20MB 정도였습니다.

ChatGPT에게 해당 특정 사례에서 백업 서비스 요금으로 매월 얼마를 지불하게 될지 물어보았습니다(활동적인 커뮤니티라면 백업 크기가 빠르게 증가할 것이라는 것은 알지만, 여기서는 단순히 예시로만 사용하고자 합니다).

AWS의 경우, 이러한 일일 20MB 백업(즉, 월 600MB)에 대해 월 $0.45~$0.60 정도를 지불하게 될 것으로 예상되었습니다. 이것이 현실적인 비용인가요, 아니면 제가 놓치고 있는 것이 있나요?

그다음 BackBlaze B2에 대해 물어보았습니다. 놀랍게도 S3와 호환되는 것을 사용한다고 하더군요(ChatGPT에게 물어보기 전까지는 S3가 AWS에서만 사용하는 서비스 이름인 줄 알았는데, 사실은 다른 회사들도 사용할 수 있는 '프로토콜’과 같은 것인 것 같습니다. 흥미롭네요…). BackBlaze는 GB당 월 $0.005의 정액 요금을 부과한다고 했습니다.

따라서 일일 20MB 백업(월 600MB)에 대한 예상 월 비용은 다음과 같습니다:

  • AWS S3: $0.45~$0.60
  • Backblaze B2: $0.15~$0.30.

이러한 용량에 대해 현실적인 시나리오인가요?

저는 커뮤니티가 성장함에 따라 다른 데이터 양에도 적응할 수 있도록, 시스템이 어떻게 작동하고(비용이 드는지)에 대해 잘 이해하고 싶습니다.

Discourse 설정에서 S3 옵션을 본 기억이 납니다(당시에는 AWS와만 관련이 있는 줄 알았는데, 저 같은 비전문가에게는 항상 매우 혼란스러웠습니다). 그렇다면 Backblaze B2를 사용할 수 있다는 뜻인가요?

또 다른 질문: PayPal로 지불하는 경우, 거래 건당 약 30센트 + 총 결제 금액의 %에 해당하는 수수료도 지불해야 합니다. 그래서 두 회사 모두 한 번에 일정 금액을 입금해 두고 이를 크레딧처럼 사용하여 월별 수수료를 피할 수 있는지 ChatGPT에게 물어보았습니다. 가능하다고 답을 받았습니다. 이 부분을 확인해 주실 분 계신가요?

좀 더 조사해 보니 이 다른 주제를 발견했고, 원 포스터(OP)는 3GB의 백업을 가지고 있다고 말했고, 다른 한 사람은 8GB라고 했습니다. 저는 Dropbox로 직접 다운로드하는 시스템을 성공적으로 구축했다고 믿습니다(몇 달 전에 Discourse를 삭제했으므로 100% 확신은 할 수 없지만, 정상적으로 작동했던 것 같습니다). 그렇다면 제 질문은: 백업을 위해 또 다른 서비스를 설정하는 수고를 해야 하는 걸까요? 백업의 99.9%가 텍스트이고 가끔 Discourse 자체에서 이미 최적화된 이미지가 포함된 경우, 백업은 실제로 얼마나 커질 수 있을까요? 저는 이미 일일 백업(그리고 스냅샷)이 있는 자체 백업 디스크를 가지고 있으므로, Dropbox에 모든 백업을 보관할 필요는 없습니다. 또한 Dropbox에는 30일간의 히스토리가 있으므로, 백업 파일을 삭제한 후 문제가 발생하더라도 30일 동안 복구할 수 있습니다.

이 주제에 대한 어떤 도움도 크게 감사하겠습니다. 감사합니다!

2

이러한 작은 백업 크기와 주기에 대해, 네, 비용은 미미할 것입니다.

기억이 정확하지는 않지만, 제가 S3를 백업용으로 사용했을 때 주 2회 30Gb 백업(백업 3개 유지)에 대해 연간 약 60달러가 들었습니다. 백업 횟수에 대해 제가 틀렸더라도, 비용의 규모는 충분히 정확합니다.

S3는 거의 비용이 들지 않을 것입니다. :smiley:

3

확인해 주셔서 감사합니다! 네, 바쁜 커뮤니티에서는 실질적인 비용이 되지 않다는 점을 알고 있지만, 적어도 이것이 평균적으로 비용이 얼마나 드는지 파악하는 데 도움이 됩니다.

더 이상 사용하지 않는 이유를 공유해 주시겠어요? 지금은 무엇을 사용하시나요? 그리고 AWS S3를 사용하셨죠? 이제 S3 “프로토콜”(또는 그 기술적 용어가 무엇인지)에 대해 이해하게 되었으니, AWS를 사용하셨는지 이해하고 싶습니다.

제가 제대로 이해했는지 확인해 보겠습니다: 각 백업이 30GB였고, 주 2회 수행하셨으니(즉, 주 60GB) 항상 3x30GB를 유지하셨다는 거죠? 삭제하더라도 모든 백업에 대해 요금이 부과되었을 거예요, 맞죠? 그렇다면 기술적으로 말씀드리면, 주 60GB x 4주(대략)로 한 달 동안 240GB를 사용했고, 월말에 추가로 30GB를 더하여 한 달 동안 총 270GB를 사용하셨다는 뜻인가요?

아마 제 계산이 틀렸거나 전체 과정을 완전히 이해하지 못한 것일 수도 있지만, 만약 이것이 맞다면 연 60달러는 여전히 매우 저렴합니다. 30GB가 Discourse용은 아니었을 거라고 추측합니다. 커뮤니티가 백업당 필요한 공간이 그 정도에 도달할 수 있을까요?

또한, 마지막에 드롭박스(Dropbox)에 대해 언급한 것에 관해서, 제 드롭박스 백업 플랜에 어떻게 도달하게 되었는지 명확한 아이디어가 없습니다(드롭박스 API나 무언가를 처리하는 과정을 거쳤던 기억은 나지만, 그것이 Discourse용이었는지 기억이 나지 않습니다). Digital Ocean을 사용했기 때문인데, 확실히 거기에 폴더를 볼 수 있습니다.

드롭박스에 22GB가 있는데, 이것은 그들이 출시했을 때很多朋友들을 초대했던 시절부터의 것입니다. 저는 일상 업무에서 드롭박스를 거의 사용하지 않습니다(주로 iCloud를 사용하며), Keyboard Maestro를 사용하여 매일 이러한 백업을 드롭박스에서 내 컴퓨터의 다른 폴더로 옮기므로, 제 드롭박스 공간의 대부분은 사용 가능합니다. 이것이 미래에 꽤 바쁜 커뮤니티에 충분할까요? 혹시 공유해 주시다면, 현재 커뮤니티의 백업 파일 크기는 얼마나 되나요?

4

네, AWS S3였습니다.

불행히도 정확한 수치는 알 수 없습니다. Amazon의 인터페이스에서는 1년 이상 지난 S3 데이터 사용량을 확인할 수 없기 때문입니다. 하지만 말씀드린 대로 규모는 맞을 것 같습니다.
제 백업은 각각 약 30GB였으며, 최대 3개의 백업을 유지했습니다. 주기에 대해서는 2일에 한 번이었는지, 아니면 주 1회였는지 기억이 나지 않습니다.

여전히 청구서가 남아 있으며, 월 5~7달러로 표시되어 있습니다. 데이터 관련 정보는 나와 있지 않습니다.

비용 때문에 S3 사용을 중단했습니다. 말씀하신 것처럼 그 정도는 그렇게 비싸지 않았지만, 제가 구독 중인 다양한 서비스(호스팅, 이메일, CDN, 백업 등) 간의 비용을 조율하다가 대신 rclone을 사용하여 백업을 Google Drive에 무료로 동기화하기로 결정했습니다.

단점으로는, S3를 신뢰할 수 있는 도구로 사용하는 Discourse와는 달리, rclone을 사용할 때는 그만큼 신뢰도가 낮아 구글 드라이브에 백업이 제대로 동기화되는지 직접 확인해야 합니다. 또한 주기적으로 모니터링을 계속하고 있는데, 특히 최소 한 번은 구글 토큰이 제대로 갱신되지 않아 백업이 Drive와 동기화되지 않는 문제를 겪었기 때문입니다.

앞으로 백업 관리 방식을 변경할 수도 있지만, 아직은 모르겠습니다.

네, Discourse용입니다 :slight_smile:
2년 전에는 백업 크기가 약 27GB였는데, 지금은 30GB입니다.

많은 인스턴스와 마찬가지로, 백업 크기의 대부분은 업로드 파일입니다. 다만 압축되지 않은 데이터베이스는 23GB이지만, 텍스트는 효율적으로 압축됩니다.

5

이것은 어떤 종류의 자동화 도구를 사용하면 쉽게 해결할 수 있다고 생각합니다. 저는 Keyboard Maestro를 사용하는데, 예를 들어 특정 이름의 파일을 Dropbox에 하나 받아야 한다면, 매일 또는 파일을 받아야 할 시점에 실행되도록 자동화할 수 있습니다. 만약 아무것도 없다면 알림을 표시할 수도 있죠.

수동으로 확인하는 대신 이런 방식이 여러분께도 효과가 있을까요?

와, 꽤 크군요! 참여도가 높고 업로드가 많으며 수년간의 활동이 있는 커뮤니티라면 그 정도까지 커질 수 있다는 걸 이해할 수 있습니다. 그래서 지금은 제 Dropbox에 맞춘 아주 작은 백업 파일로 만족할 것 같습니다.

그리고 AWS나 BackBlaze를 사용하기로 결정하더라도, 월 5~7달러면 마음이 좀 더 편해지기에 충분합니다. 그런 예산이 있다면 저는 지갑보다 제 정신 건강을 더 중요하게 여기거든요. :wink:

이 문제에 대해 시간 내어 도와주신 것(그리고 청구서 등을 확인해 주신 것)에 진심으로 감사드립니다! :+1: