Вопросы по резервному копированию S3

Поддержка
,
1

Я не разработчик и не эксперт в этой области, так что, пожалуйста, проявите терпение…

Несколько месяцев назад, когда я устанавливал Discourse (я временно его удалил, но вернусь к этому в следующем году), я заметил, что мои ежедневные резервные копии были очень маленькими (конечно, я только настраивал и проектировал его, у меня не было участников, поэтому реального трафика и нового контента не было). Каждая резервная копия занимала около 20 МБ.

Я спросил ChatGPT, сколько я буду платить в месяц за услугу резервного копирования в таком случае (я знаю, что при активной сообществе размер резервной копии быстро увеличится, но это просто пример).

На AWS мне пришлось бы платить около $0,45–$0,60 в месяц за ежедневные резервные копии объёмом 20 МБ (то есть 600 МБ в месяц). Это реалистичная стоимость или я что-то упускаю?

Затем я спросил о BackBlaze B2. К моему удивлению, мне сказали, что они используют что-то совместимое с S3 (до того как я спросил об этом ChatGPT, я думал, что S3 — это что-то, что использует только AWS, как название их сервиса — что тоже верно, но, похоже, это скорее «протокол», который могут использовать другие компании. Интересно…). Мне сказали, что у BackBlaze фиксированная плата $0,005 за ГБ в месяц.

Таким образом, для ежедневных резервных копий объёмом 20 МБ (600 МБ в месяц) оценочные ежемесячные расходы составят:

  • AWS S3: $0,45–$0,60
  • Backblaze B2: $0,15–$0,30.

Реалистичен ли такой сценарий для такого объёма данных?

Я просто хочу хорошо понимать, как всё работает (и сколько это стоит), чтобы затем адаптироваться к другим объёмам данных по мере роста сообщества.

Я помню, что видел опцию S3 в настройках Discourse (когда я думал, что это относится только к AWS — что всегда казалось очень запутанным для такого неэксперта, как я). Значит, я могу использовать BackBlaze B2, верно?

Ещё один вопрос: если я оплачиваю через PayPal, мне также приходится платить их комиссию, которая составляет около 30 центов за транзакцию плюс процент от общей суммы. Поэтому я спросил ChatGPT, позволяют ли обе компании вносить определённую сумму один раз и использовать её как кредит, избегая ежемесячных платежей. Мне ответили, что да. Может ли кто-нибудь это подтвердить?

После дополнительного исследования я нашёл эту тему, где автор сообщения упомянул, что у него резервная копия объёмом 3 ГБ, а другой человек сказал, что у него 8 ГБ. Я считаю, что у меня успешно работала система, где я скачивал резервные копии напрямую в Dropbox (я удалил Discourse несколько месяцев назад, поэтому не могу подтвердить это на 100%, но, кажется, всё работало правильно). Так что мой вопрос: стоит ли мне возиться с настройкой ещё одной службы для резервного копирования? Насколько большой может быть резервная копия, если 99,9% её — это просто текст и иногда изображения, которые уже оптимизируются самим Discourse? Поскольку у меня есть собственные диски для резервных копий с ежедневными копиями (и снимками), мне не нужно хранить все резервные копии в Dropbox, и так как у них есть история за 30 дней, даже если что-то пойдёт не так после удаления файла резервной копии, у меня всё ещё есть 30 дней на восстановление.

Любая помощь по этому вопросу будет очень ценной. Спасибо!

2

Для таких небольших резервных копий с этой частотой да, расходы будут минимальными.

Насколько я помню, когда я использовал S3 для своих резервных копий, это обходилось примерно в 60 долларов в год за 30 ГБ, при создании копий дважды в неделю (хранилось 3 копии). Даже если я ошибаюсь насчет количества копий, порядок величины затрат верен.

S3 обойдется вам почти в ноль. :smiley:

3

Спасибо за подтверждение! Да, я понимаю, что для активного сообщества это было бы непрактично с точки зрения затрат, но хотя бы теперь у меня есть представление о средних расходах.

Не могли бы вы поделиться, почему вы больше не используете его? Чем вы пользуетесь сейчас? И вы использовали AWS S3, верно? Теперь, когда я понял, что существует «протокол» S3 (или как там правильно называется эта технология), я просто хочу уточнить: вы использовали именно AWS?

Позвольте мне убедиться, что я всё правильно понял: каждая резервная копия составляла 30 ГБ, вы создавали их дважды в неделю (то есть 60 ГБ в неделю), и у вас всегда хранилось 3 копии по 30 ГБ? Вас всё равно списывали деньги за все копии, даже если вы их удаляли, верно? То есть технически вы использовали 60 ГБ в неделю × 4 недели (плюс-минус), получается 240 ГБ, плюс ещё 30 ГБ в конце месяца, итого 270 ГБ за месяц?

Возможно, я ошибся в расчётах или не до конца понимаю весь процесс, но если всё так, то 60 долларов в год — это всё ещё очень дёшево. Я предполагаю, что эти 30 ГБ не относились к Discourse? Может ли сообщество дойти до такого объёма данных в одной резервной копии?

Также, касательно моего упоминания Dropbox в конце: у меня нет чёткого представления, как я пришёл к своему плану резервного копирования в Dropbox (помню, что проходил через процесс настройки API Dropbox или что-то в этом роде, но не помню точно, было ли это для Discourse?), так как я использовал Digital Ocean, но папка там точно есть.

У меня есть 22 ГБ в Dropbox, которые достались мне ещё с момента запуска сервиса, когда я пригласил много друзей присоединиться. Поскольку я почти не использую Dropbox для повседневной работы (в основном iCloud) и у меня есть Keyboard Maestro, который ежедневно перемещает эти резервные копии из Dropbox в другую папку на моём компьютере, большая часть моего пространства в Dropbox свободна. Хватит ли этого для довольно активного сообщества в будущем? Насколько велик сейчас файл резервной копии вашего сообщества, если вы не против поделиться этой информацией?

4

Да, это был AWS S3.

К сожалению, у меня нет точных цифр, так как в интерфейсе Amazon нельзя увидеть данные об использовании S3 старше одного года. Но, как я уже сказал, порядок величины, думаю, верен.
Я точно знаю, что мои резервные копии составляли около 30 ГБ каждая, и я хранил максимум около 3 копий. Что касается частоты, я не помню, делалось ли это раз в два дня или раз в неделю.

У меня ещё есть счета, и в них указано от 5 до 7 долларов в месяц. Там нет никакой информации, связанной с объёмом данных.

Я перестал использовать S3 из-за стоимости. Это не было так дорого, как вы говорите, но я пытался сбалансировать расходы между различными сервисами, на которые подписан (хостинг, почта, CDN, резервные копии…), и решил вместо этого бесплатно синхронизировать свои резервные копии с Google Drive с помощью rclone.

Недостаток в том, что, хотя я доверяю Discourse в плане надёжного использования S3, при использовании rclone я не доверяю ему в той же мере и должен убедиться, что резервные копии правильно синхронизируются с Google Drive. Я продолжаю периодически проверять это, особенно после того, как заметил, что хотя бы один раз токен Google не был правильно обновлён, и мои резервные копии перестали синхронизироваться с Drive.

Возможно, в будущем я изменю способ управления своими резервными копиями, не знаю.

Да, это именно для Discourse :slight_smile:
Размер резервной копии был около 27 ГБ два года назад, а сейчас — 30 ГБ.

Как и во многих других инстансах, большую часть размера резервной копии составляют загруженные файлы. Хотя база данных в несжатом виде занимает 23 ГБ, текст сжимается эффективно.

5

Думаю, это можно легко исправить с помощью какого-либо инструмента автоматизации? Я использую Keyboard Maestro. Например, если я ожидаю получить один файл с определённым именем в Dropbox, я могу настроить автоматическую проверку ежедневно или в момент, когда файл должен появиться, и если его нет, выводить уведомление.

Подойдёт ли вам что-то подобное вместо ручной проверки?

Вау, это много! Я понимаю, что на сообществах с высокой активностью, большим количеством загрузок и долгими годами работы такой объём может накопиться. Так что пока я, пожалуй, останусь при очень маленьких файлах резервных копий, которые помещаются в моём Dropbox.

И даже если я решу использовать AWS или BackBlaze, 5–7 долларов в месяц — это вполне приемлемо ради спокойствия. Если есть бюджет на это, я ценю своё спокойствие больше, чем деньги :wink:

Огромное спасибо за ваше время и помощь в этом (и за проверку счетов и прочего)! :+1: