복원 실패 - S3 (호환) 백업

제품 지원
1

백업 복구를 시도하고 있는데 오류가 발생하고 있습니다. S3 백업과 관련이 있는 것 같습니다.

참고로, 이는 S3 호환 서비스(Scaleway)를 사용하는 환경입니다. 이 오류가 해당 호환 서비스에만 발생하는지, 아니면 일반적인 문제인지 확실하지 않습니다. 설정은 매우 매끄럽게 완료되었고 지금까지 잘 작동하고 있습니다. 만약 Scaleway에 특화된 문제라면, 공식적으로 지원되는 것은 AWS S3뿐이라는 점을 고려하여 해당 서비스를 중단할 가능성이 높습니다.

다음 가이드를 사용하여 설정했습니다: Configure an S3 compatible object storage provider for uploads 이 설정은 app.yml 파일에 있습니다.

  after_assets_precompile:
    - exec:
        cd: $home
        cmd:
          - sudo -E -u discourse bundle exec rake s3:upload_assets

Scaleway에 대해서도 app.yml 파일에 동일한 구성을 사용했습니다(불필요하다고 판단하여 관리자 설정에서 설정하지 않음): scaleway config

현재 서버에서 관리자 영역과 명령줄을 모두 시도해 보았으며, 새로운 서버를 설정(app.yml 파일을 복사)하고 명령줄을 통해 복구하는 방법도 시도했습니다. 동일한 오류가 발생했습니다.

[STARTED]
'system' has started the restore!
Marking restore as running...
Making sure /var/www/discourse/tmp/restores/default/2020-07-16-131434 exists...
Downloading archive to tmp directory...
#<Thread:0x000055c73a831df8@/var/www/discourse/vendor/bundle/ruby/2.6.0/gems/aws-sdk-s3-1.66.0/lib/aws-sdk-s3/file_downloader.rb:116 run> terminated with exception (report_on_exception is true):
Traceback (most recent call last):
	1: from /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/aws-sdk-s3-1.66.0/lib/aws-sdk-s3/file_downloader.rb:120:in `block (3 levels) in thread_batches'
/var/www/discourse/vendor/bundle/ruby/2.6.0/gems/aws-sdk-s3-1.66.0/lib/aws-sdk-s3/file_downloader.rb:128:in `write': undefined method `split' for nil:NilClass (NoMethodError)
EXCEPTION: undefined method `split' for nil:NilClass
/var/www/discourse/vendor/bundle/ruby/2.6.0/gems/aws-sdk-s3-1.66.0/lib/aws-sdk-s3/file_downloader.rb:128:in `write'
/var/www/discourse/vendor/bundle/ruby/2.6.0/gems/aws-sdk-s3-1.66.0/lib/aws-sdk-s3/file_downloader.rb:120:in `block (3 levels) in thread_batches'
Trying to rollback...
There was no need to rollback
Cleaning stuff up...
Removing tmp '/var/www/discourse/tmp/restores/default/2020-07-16-131434' directory...
Unpausing sidekiq...
Marking restore as finished...
Notifying 'system' of the end of the restore...
#<Thread:0x000055c73a831510@/var/www/discourse/vendor/bundle/ruby/2.6.0/gems/aws-sdk-s3-1.66.0/lib/aws-sdk-s3/file_downloader.rb:116 run> terminated with exception (report_on_exception is true):
Traceback (most recent call last):
	1: from /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/aws-sdk-s3-1.66.0/lib/aws-sdk-s3/file_downloader.rb:120:in `block (3 levels) in thread_batches'
/var/www/discourse/vendor/bundle/ruby/2.6.0/gems/aws-sdk-s3-1.66.0/lib/aws-sdk-s3/file_downloader.rb:128:in `write': undefined method `split' for nil:NilClass (NoMethodError)
#<Thread:0x000055c73a8316c8@/var/www/discourse/vendor/bundle/ruby/2.6.0/gems/aws-sdk-s3-1.66.0/lib/aws-sdk-s3/file_downloader.rb:116 run> terminated with exception (report_on_exception is true):
Traceback (most recent call last):
	1: from /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/aws-sdk-s3-1.66.0/lib/aws-sdk-s3/file_downloader.rb:120:in `block (3 levels) in thread_batches'
/var/www/discourse/vendor/bundle/ruby/2.6.0/gems/aws-sdk-s3-1.66.0/lib/aws-sdk-s3/file_downloader.rb:128:in `write': undefined method `split' for nil:NilClass (NoMethodError)
#<Thread:0x000055c73a8319e8@/var/www/discourse/vendor/bundle/ruby/2.6.0/gems/aws-sdk-s3-1.66.0/lib/aws-sdk-s3/file_downloader.rb:116 run> terminated with exception (report_on_exception is true):
Traceback (most recent call last):
	1: from /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/aws-sdk-s3-1.66.0/lib/aws-sdk-s3/file_downloader.rb:120:in `block (3 levels) in thread_batches'
/var/www/discourse/vendor/bundle/ruby/2.6.0/gems/aws-sdk-s3-1.66.0/lib/aws-sdk-s3/file_downloader.rb:128:in `write': undefined method `split' for nil:NilClass (NoMethodError)
Finished!
[FAILED]
Restore done.

아마 오류는 백업 다운로드 단계에서만 발생하는 것일까요? :face_with_monocle:

2

그렇게 보입니다.

app.yml에서 백업 위치를 로컬로 변경한 뒤, 재빌드하고 백업 파일을 수동으로 다운로드한 다음 콘솔에서 복원하는 것이 좋습니다.

3

아, 그렇군요. @Falco님 감사합니다! :slight_smile:

내일 시도해 보고 알려드릴게요~

4

Falco님, 감사합니다! 완벽하게 잘 작동했습니다 :smiley:

새 서버로 마이그레이션을 진행했는데, 사실 같은 서버를 계속 사용해도 괜찮았을 것 같습니다.

혹시 나중에 이 내용을 참고하려는 분이 있을까 봐, 자세한 단계는 다음과 같습니다 (참고로 제 s3 설정은 여기에 명시된 대로 app.yml 파일에만 있었고, 관리자 설정에서 커스터마이징한 내용은 없었습니다):

  1. 소스 사이트에서 롤백이 아니라면 '이메일 비활성화’를 활성화하고(필요 없을 수도 있음) 읽기 전용 모드를 켜세요 (마이그레이션이 완료되면 새 인스턴스에서 이 설정들을 다시 되돌려야 합니다). 백업을 생성하고, 완료되면 구 인스턴스도 중지하는 것을 고려해 보세요 (./launcher stop app). 롤백이든 아니든 상관없이 DNS A 레코드를 새 서버 IP를 가리키도록 업데이트하세요. 더 우아하거나 다른 순서로 진행하여 다운타임을 최소화할 수도 있지만, 제 경우(롤백, 아직 런칭하지 않은 포럼)에는 다운타임이 큰 문제가 아니었습니다.

  2. 새 서버에 Discourse를 설치하고 app.yml의 모든 커스텀 설정(특히 s3 설정 포함)을 마이그레이션하세요. Discourse 버전은 동일하거나 매우 유사하게 유지하세요.

  3. 다음 두 레코드를 주석 처리하세요 (app.yml의 다른 s3 설정은 그대로 두셔도 됩니다):
    DISCOURSE_S3_BACKUP_BUCKET: BucketName
    DISCOURSE_BACKUP_LOCATION: s3

  4. s3 또는 s3 호환 서비스에서 원하는 백업을 수동으로 다운로드하세요.

  5. /var/discourse/shared/standalone/backups 디렉토리로 이동하여 'default’라는 이름의 새 폴더를 생성하세요 (존재하지 않는다면). (새 설치인 경우 존재하지 않을 것입니다.) 그리고 backups 디렉토리에서 다음을 실행하세요 (이것은 Discourse가 로컬 백업을 생성했을 때 해당 폴더가 가지는 것과 동일한 폴더 권한으로 변경하는 것입니다 - 필요할지 확실하지 않습니다):
    chown -R 1000:www-data default

  6. SFTP 클라이언트를 사용하여 백업을 backups/default 폴더로 업로드하세요. 백업 파일 이름을 변경하지 마세요.

  7. 앱을 재빌드하세요:
    cd /var/discourse
    ./launcher rebuild app

  8. 앱에 진입하여 백업을 활성화하고 복원하세요 (BackupFileName.tar.gz로 이름 변경):

./launcher enter app
discourse enable_restore
discourse restore BackupFileName.tar.gz

  1. 완료되면 2단계에서 주석 처리했던 app.yml의 두 s3 백업 파일 라인을 주석 해제하고 앱을 재빌드하세요.

  2. 로컬 backups/default 폴더와 그 안에 포함된 백업(/var/discourse/shared/standalone/backups)을 삭제할 수 있습니다.

참고: