20GB 백업 파일을 Wasabi S3로 업로드하는 사이트를 운영 중입니다. 대부분은 잘 작동합니다.
하지만 간혹 S3 업로드에 실패하면 로컬의 .tar.gz 파일이 그대로 남아 있습니다. 그렇게 되면 결국 디스크가 가득 차고, 압축되지 않은 .tar 파일(압축 버전에는 공간이 부족했기 때문)이 남게 되며, 곧 디스크가 가득 차 사이트가 멈추게 됩니다.
Wasabi를 포기하기 전에, 혹시 어떤 단서가 있는지 확인해 보고 싶습니다.
production.log, production.errors, 그리고 sidekiq와 unicorn 로그를 확인해 보았지만, 백업이 실패한 날이든 성공한 날이든 "acku"라는 문자열을 어디에서도 찾을 수 없습니다. 어딘가에 로그가 남아 있어야 하지 않나요?
실패할 경우 로그 출력이 포함된 PM(개인 메시지)을 받게 됩니다. UI에서 수동 백업을 실행한 경우 본인에게, 자동 백업인 경우 관리자 그룹으로 전송됩니다.
백업 중 예외가 발생하면 /logs에도 표시되며, 로그 파일 중 하나에도 기록될 것으로 생각됩니다. EXCEPTION:을 검색해 보세요.
하지만 임시 파일이 계속 남아 있는 점을 보면, 백업 중에 Sidekiq나 심지어 Docker 또는 호스트가 재시작되는 것은 아닌지 의문이 듭니다. 그렇다면 정리 작업이 실행되지 않고 PM을 받지 못하는 이유를 설명할 수 있습니다.
맞아요. 이건 정말 이상하네요. 실패 통지를 받은 적이 없어요. .tar 파일만 있고 디스크가 거의 가득 찬 경우에도요(해당 사이트는 tests-passed에서 최신 상태로 유지되고 있어요).
그 며칠 동안 backup location이 그냥 변경된 것처럼 보이지만, 로그에는 아무것도 없어요. 웹 인터페이스에서 시작한 백업에 대해서는 관리자 메시지에서 “성공” 알림은 보이지만 실패 기록은 없어요. backup_location을 ENV 설정으로 옮겼습니다.
아직 Wasabi를 포기하지 않을 수도 있겠네요… .
감사합니다, Gerhard님!