Scaleway에서 S3 백업 업로드 실패 (멀티파트 업로드)

제품 지원
1

2.6.1 stable 버전에서 Scaleway의 S3 클론을 사용 중입니다. 로그는 다음과 같습니다:

[2021-01-30 09:52:59] 아카이브 업로드 중...
[2021-01-30 09:55:36] 예외: 멀티파트 업로드 중단 실패: 지정된 멀티파트 업로드가 존재하지 않습니다. 업로드 ID가 무효하거나, 멀티파트 업로드가 중단되었거나 완료되었을 수 있습니다.
[2021-01-30 09:55:36] /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.83.2/lib/aws-sdk-s3/multipart_file_uploader.rb:94:in `rescue in abort_upload'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.83.2/lib/aws-sdk-s3/multipart_file_uploader.rb:82:in `abort_upload'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.83.2/lib/aws-sdk-s3/multipart_file_uploader.rb:78:in `upload_parts'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.83.2/lib/aws-sdk-s3/multipart_file_uploader.rb:51:in `upload'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.83.2/lib/aws-sdk-s3/file_uploader.rb:38:in `upload'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.83.2/lib/aws-sdk-s3/customizations/object.rb:342:in `upload_file'
/var/www/discourse/lib/backup_restore/s3_backup_store.rb:39:in `upload_file'
/var/www/discourse/lib/backup_restore/backuper.rb:301:in `upload_archive'
/var/www/discourse/lib/backup_restore/backuper.rb:41:in `run'
/var/www/discourse/script/spawn_backup_restore.rb:9:in `backup'
/var/www/discourse/script/spawn_backup_restore.rb:34:in `block in <main>'
/var/www/discourse/script/spawn_backup_restore.rb:4:in `fork'
/var/www/discourse/script/spawn_backup_restore.rb:4:in `<main>'
[2021-01-30 09:55:36] 이전 백업 삭제 중...
[2021-01-30 09:55:36] 정리 작업 수행 중...
[2021-01-30 09:55:36] 로컬 저장소에서 아카이브 제거 중...
[2021-01-30 09:55:36] '.tar' 잔여 파일 제거 중...
[2021-01-30 09:55:36] 백업 완료로 표시 중...
[2021-01-30 09:55:36] 디스크 통계 새로고침 중...

다른 서버 몇 대에서도 동일한 구성을 사용하고 있으며 백업은 정상적으로 작동합니다(다만 백업 크기가 훨씬 작아 멀티파트 업로드가 원인이 아닐 가능성이 높습니다). Scaleway도 멀티파트 업로드를 지원하는 것으로 보입니다: Managing multipart uploads | Scaleway Documentation - 따라서 문제가 무엇인지 정확히 파악이 되지 않습니다.

2

저도 Scaleway S3에서 같은 문제가 발생합니다. :frowning:

9일 전에 첫 번째 백업이 실패했습니다:

EXCEPTION: multipart upload failed:
Your request was not formed properly;
Your request was not formed properly

그 후, 1~2일마다 다음과 같은 오류가 발생했습니다:

EXCEPTION: failed to abort multipart upload:
The specified multipart upload does not exist.
The upload ID might be invalid, or
the multipart upload might have been aborted or completed.

@Falco 이 문제를 이해하기 위해 무엇을 할 수 있을까요?
감사합니다

3

어제 이 게시물에 답글을 남겼습니다. Scaleway에 연락하세요.

4

완료했습니다.
하지만 그쪽 지원팀이 더 많은 정보가 필요합니다 :slight_smile:
각 부품에 대해 응답이나 오류 메시지를 받는지 확인하기 위해 부품 목록이 필요합니다.

aws gems에서 로깅(http 요청 등)을 활성화하는 방법이 있을까요?

감사합니다

5

다행히도 Discourse가 오픈 소스이므로 정확히 무슨 일이 일어나고 있는지 확인할 수 있습니다!

백트레이스에 따르면 오류는 다음에서 발생하고 있습니다.

해당 코드는

이며, 이는 SDK의 다음 메서드를 호출하는 것입니다:

문서에 따르면, 파일 크기가 15MB를 초과하면 기본적으로 멀티파트(MultiPart) 업로드를 사용하도록 설정되어 있습니다.

소스 코드를 살펴보면, 다음 메서드가 사용되고 있는 것으로 보입니다:

그리고 74번째 줄에서 오류가 발생하고 있습니다.

6

다시 작동합니다. 아무런 수정 없이요 :grimacing:
지금 10개 중 7개가 성공했습니다

7

좋은 소식입니다. de facto S3 스펙에 맞춰 구현한 것의 장점은, 상대방 측에서 수정하면 우리는 아무런 변경이 필요 없다는 점입니다.

8

불행히도 여전히 같은 오류가 발생합니다 :confused:
아마도 수정 사항이 아직 완전히 배포되지 않았기 때문일 것입니다.

9

백업 프로세스가 이제 100% 성공적으로 완료되었습니다!
제게는 이 문제가 "해결"되었습니다.