وظيفة VacateLegacyPrefixBackups عالقة

davidkingham · 7 يونيو 2020، 2:56م

هل يبدو طبيعيًا أن هذه المهمة تعمل منذ ما يقرب من يومين بعد التحديث؟ هل يجب أن أوقفها يدويًا عبر Sidekiq أم توجد طريقة أفضل للتعامل مع هذا الأمر؟ شكرًا لك!

hostname	community-app
process_id	732
application_version	293467a37ae33c5fd8fd40bbfc05bffa578b90ed
current_db	default
current_hostname	community.naturephotographers.network
job	Jobs::VacateLegacyPrefixBackups
problem_db	default
time	8:28 am
	
opts	
current_site_id	default



aws-sdk-core-3.96.1/lib/seahorse/client/plugins/raise_response_errors.rb:15:in `call'
aws-sdk-s3-1.66.0/lib/aws-sdk-s3/plugins/sse_cpk.rb:22:in `call'
aws-sdk-s3-1.66.0/lib/aws-sdk-s3/plugins/dualstack.rb:26:in `call'
aws-sdk-s3-1.66.0/lib/aws-sdk-s3/plugins/accelerate.rb:35:in `call'
aws-sdk-core-3.96.1/lib/aws-sdk-core/plugins/jsonvalue_converter.rb:20:in `call'
aws-sdk-core-3.96.1/lib/aws-sdk-core/plugins/idempotency_token.rb:17:in `call'
aws-sdk-core-3.96.1/lib/aws-sdk-core/plugins/param_converter.rb:24:in `call'
aws-sdk-core-3.96.1/lib/aws-sdk-core/plugins/response_paging.rb:10:in `call'
aws-sdk-core-3.96.1/lib/seahorse/client/plugins/response_target.rb:23:in `call'
aws-sdk-core-3.96.1/lib/seahorse/client/request.rb:70:in `send_request'
aws-sdk-s3-1.66.0/lib/aws-sdk-s3/client.rb:1108:in `copy_object'
/var/www/discourse/lib/backup_restore/s3_backup_store.rb:59:in `block in vacate_legacy_prefix'
/var/www/discourse/lib/backup_restore/s3_backup_store.rb:57:in `each'
/var/www/discourse/lib/backup_restore/s3_backup_store.rb:57:in `vacate_legacy_prefix'
/var/www/discourse/app/jobs/onceoff/vacate_legacy_prefix_backups.rb:7:in `execute_onceoff'
/var/www/discourse/app/jobs/onceoff/onceoff.rb:25:in `execute'
/var/www/discourse/app/jobs/base.rb:232:in `block (2 levels) in perform'
rails_multisite-2.2.2/lib/rails_multisite/connection_management.rb:68:in `with_connection'
/var/www/discourse/app/jobs/base.rb:221:in `block in perform'
/var/www/discourse/app/jobs/base.rb:217:in `each'
/var/www/discourse/app/jobs/base.rb:217:in `perform'
sidekiq-6.0.7/lib/sidekiq/processor.rb:196:in `execute_job'
sidekiq-6.0.7/lib/sidekiq/processor.rb:164:in `block (2 levels) in process'
sidekiq-6.0.7/lib/sidekiq/middleware/chain.rb:138:in `block in invoke'
/var/www/discourse/lib/sidekiq/pausable.rb:138:in `call'
sidekiq-6.0.7/lib/sidekiq/middleware/chain.rb:140:in `block in invoke'
sidekiq-6.0.7/lib/sidekiq/middleware/chain.rb:143:in `invoke'
sidekiq-6.0.7/lib/sidekiq/processor.rb:163:in `block in process'
sidekiq-6.0.7/lib/sidekiq/processor.rb:136:in `block (6 levels) in dispatch'
sidekiq-6.0.7/lib/sidekiq/job_retry.rb:111:in `local'
sidekiq-6.0.7/lib/sidekiq/processor.rb:135:in `block (5 levels) in dispatch'
sidekiq-6.0.7/lib/sidekiq.rb:37:in `block in <module:Sidekiq>'
sidekiq-6.0.7/lib/sidekiq/processor.rb:131:in `block (4 levels) in dispatch'
sidekiq-6.0.7/lib/sidekiq/processor.rb:257:in `stats'
sidekiq-6.0.7/lib/sidekiq/processor.rb:126:in `block (3 levels) in dispatch'
sidekiq-6.0.7/lib/sidekiq/job_logger.rb:13:in `call'
sidekiq-6.0.7/lib/sidekiq/processor.rb:125:in `block (2 levels) in dispatch'
sidekiq-6.0.7/lib/sidekiq/job_retry.rb:78:in `global'
sidekiq-6.0.7/lib/sidekiq/processor.rb:124:in `block in dispatch'
sidekiq-6.0.7/lib/sidekiq/logger.rb:10:in `with'
sidekiq-6.0.7/lib/sidekiq/job_logger.rb:33:in `prepare'
sidekiq-6.0.7/lib/sidekiq/processor.rb:123:in `dispatch'
sidekiq-6.0.7/lib/sidekiq/processor.rb:162:in `process'
sidekiq-6.0.7/lib/sidekiq/processor.rb:78:in `process_one'
sidekiq-6.0.7/lib/sidekiq/processor.rb:68:in `run'
sidekiq-6.0.7/lib/sidekiq/util.rb:15:in `watchdog'
sidekiq-6.0.7/lib/sidekiq/util.rb:24:in `block in safe_thread'


aws-sdk-core-3.96.1/lib/seahorse/client/plugins/raise_response_errors.rb:15:in `call'
aws-sdk-s3-1.66.0/lib/aws-sdk-s3/plugins/sse_cpk.rb:22:in `call'
aws-sdk-s3-1.66.0/lib/aws-sdk-s3/plugins/dualstack.rb:26:in `call'
aws-sdk-s3-1.66.0/lib/aws-sdk-s3/plugins/accelerate.rb:35:in `call'
aws-sdk-core-3.96.1/lib/aws-sdk-core/plugins/jsonvalue_converter.rb:20:in `call'
aws-sdk-core-3.96.1/lib/aws-sdk-core/plugins/idempotency_token.rb:17:in `call'
aws-sdk-core-3.96.1/lib/aws-sdk-core/plugins/param_converter.rb:24:in `call'
aws-sdk-core-3.96.1/lib/aws-sdk-core/plugins/response_paging.rb:10:in `call'
aws-sdk-core-3.96.1/lib/seahorse/client/plugins/response_target.rb:23:in `call'
aws-sdk-core-3.96.1/lib/seahorse/client/request.rb:70:in `send_request'
aws-sdk-s3-1.66.0/lib/aws-sdk-s3/client.rb:1108:in `copy_object'
/var/www/discourse/lib/backup_restore/s3_backup_store.rb:59:in `block in vacate_legacy_prefix'
/var/www/discourse/lib/backup_restore/s3_backup_store.rb:57:in `each'
/var/www/discourse/lib/backup_restore/s3_backup_store.rb:57:in `vacate_legacy_prefix'
/var/www/discourse/app/jobs/onceoff/vacate_legacy_prefix_backups.rb:7:in `execute_onceoff'
/var/www/discourse/app/jobs/onceoff/onceoff.rb:25:in `execute'
/var/www/discourse/app/jobs/base.rb:232:in `block (2 levels) in perform'
rails_multisite-2.2.2/lib/rails_multisite/connection_management.rb:68:in `with_connection'
/var/www/discourse/app/jobs/base.rb:221:in `block in perform'
/var/www/discourse/app/jobs/base.rb:217:in `each'
/var/www/discourse/app/jobs/base.rb:217:in `perform'
sidekiq-6.0.7/lib/sidekiq/processor.rb:196:in `execute_job'
sidekiq-6.0.7/lib/sidekiq/processor.rb:164:in `block (2 levels) in process'
sidekiq-6.0.7/lib/sidekiq/middleware/chain.rb:138:in `block in invoke'
/var/www/discourse/lib/sidekiq/pausable.rb:138:in `call'
sidekiq-6.0.7/lib/sidekiq/middleware/chain.rb:140:in `block in invoke'
sidekiq-6.0.7/lib/sidekiq/middleware/chain.rb:143:in `invoke'
sidekiq-6.0.7/lib/sidekiq/processor.rb:163:in `block in process'
sidekiq-6.0.7/lib/sidekiq/processor.rb:136:in `block (6 levels) in dispatch'
sidekiq-6.0.7/lib/sidekiq/job_retry.rb:111:in `local'
sidekiq-6.0.7/lib/sidekiq/processor.rb:135:in `block (5 levels) in dispatch'
sidekiq-6.0.7/lib/sidekiq.rb:37:in `block in <module:Sidekiq>'
sidekiq-6.0.7/lib/sidekiq/processor.rb:131:in `block (4 levels) in dispatch'
sidekiq-6.0.7/lib/sidekiq/processor.rb:257:in `stats'
sidekiq-6.0.7/lib/sidekiq/processor.rb:126:in `block (3 levels) in dispatch'
sidekiq-6.0.7/lib/sidekiq/job_logger.rb:13:in `call'
sidekiq-6.0.7/lib/sidekiq/processor.rb:125:in `block (2 levels) in dispatch'
sidekiq-6.0.7/lib/sidekiq/job_retry.rb:78:in `global'
sidekiq-6.0.7/lib/sidekiq/processor.rb:124:in `block in dispatch'
sidekiq-6.0.7/lib/sidekiq/logger.rb:10:in `with'
sidekiq-6.0.7/lib/sidekiq/job_logger.rb:33:in `prepare'
sidekiq-6.0.7/lib/sidekiq/processor.rb:123:in `dispatch'
sidekiq-6.0.7/lib/sidekiq/processor.rb:162:in `process'
sidekiq-6.0.7/lib/sidekiq/processor.rb:78:in `process_one'
sidekiq-6.0.7/lib/sidekiq/processor.rb:68:in `run'
sidekiq-6.0.7/lib/sidekiq/util.rb:15:in `watchdog'
sidekiq-6.0.7/lib/sidekiq/util.rb:24:in `block in safe_thread'

Falco · 7 يونيو 2020، 3:46م

هل تستخدم S3 الحقيقي أم نسخة طبق الأصل؟

davidkingham · 7 يونيو 2020، 4:31م

أنا أستخدم DigitalOcean Spaces، لست متأكدًا مما إذا كان ذلك يُعتبر ‘حقيقيًا’؟

Falco · 7 يونيو 2020، 6:40م

يبدو ذلك مشابهًا جدًا لما يحدث عندما لا يدعم النسخ المتماثل استدعاء واجهة برمجة التطبيقات.

ستحتاج إلى إجراء تنظيف المجلد يدويًا حتى لا يحاول Discourse القيام بذلك، لأنه لا يستطيع ذلك بسبب وجود واجهات برمجة التطبيقات المفقودة.

github.com/discourse/discourse

lib/backup_restore/s3_backup_store.rb

293467a37


      
          def vacate_legacy_prefix
            legacy_s3_helper = S3Helper.new(s3_bucket_name_with_legacy_prefix, '', @s3_options.clone)
            legacy_keys = legacy_s3_helper.list.map { |o| o.key }
            legacy_keys.each do |legacy_key|
              bucket, prefix = s3_bucket_name_with_prefix.split('/', 2)
              @s3_helper.s3_client.copy_object({
                copy_source: File.join(bucket, legacy_key),
                bucket: bucket,
                key: File.join(prefix, legacy_key.split('/').last)
              })
              legacy_s3_helper.delete_object(legacy_key)
            end
          end

davidkingham · 7 يونيو 2020، 7:01م

يرجى العفو عن جهلي، لكنني لا أعرف ما يعنيه ذلك. لقد عملت DO بشكل جيد خلال العام الماضي، ولم يظهر هذا إلا بعد التحديث إلى أحدث إصدار في اليوم الآخر.

davidkingham · 11 يونيو 2020، 4:55م

هل يمكن لأي شخص توضيح هذا؟ المهمة لا تزال قيد التنفيذ بعد 4 أيام.

schleifer · 12 يونيو 2020، 3:10ص

لقد اصطدمت بخلل في هذه المهمة، نأسف لذلك.

أبسط حل هو:

انتقل إلى https://community.naturephotographers.network/admin/backups
احذف الإدخالات التي يبلغ حجمها 5 جيجابايت أو أكثر في خانة ‘الحجم’

بدلاً من ذلك، يمكنك نقلها يدويًا إلى الموقع الجديد في الدلو، والذي سيكون على الأرجح backups/default/ بدلاً من backups/ الحالي.

النقل اليدوي سيؤدي إلى اصطدامك بخلل ثانٍ في المهمة، وستظهر في السجلات رسالة خطأ: This copy request is illegal because it is trying to copy an object to itself without changing the object's metadata, storage class, website redirect location or encryption attributes.

لقد قمت بتطبيق إصلاح لهذا الخلل الثاني، لذا إذا قمت بالنقل اليدوي، فإن التحديث مرة أخرى بعد فترة قصيرة سيوقف رسالة خطأ “طلب غير قانوني”.

davidkingham · 12 يونيو 2020، 3:29ص

شكرًا لك يا أندرو، هناك مشكلة صغيرة فقط، فأحدث نسخة احتياطية لدي بحجم 460 ميجابايت…

sam · 12 يونيو 2020، 4:35ص

أعتقد أن هذا يحدث لأنك تستخدم نسخة طبق الأصل من S3، لذا فإن واجهة برمجة التطبيقات التي نستخدمها لنقل البيانات غير مدعومة من قبل DigitalOcean.

هل يمكنك نقل البيانات يدويًا؟

أسهل حل هو تحميل جميع النسخ الاحتياطية ثم حذف جميع النسخ القديمة.

davidkingham · 13 يونيو 2020، 5:29م

حسناً، لقد قمت بحذف جميع النسخ الاحتياطية، وحاولت إيقاف المهمة لكنها تعيد التشغيل تلقائياً. هل هناك أي شيء آخر أحتاج إلى فعله لإعادة تعيينها؟

schleifer · 17 يونيو 2020، 10:51ص

هل يوجد خطأ مختلف في السجلات؟

أقترح إعادة تشغيل العملية على أمل أن يعيد تقييم حالة المهمة.

cd /var/discourse
./launcher restart app

davidkingham · 17 يونيو 2020، 1:41م

لم تعد هناك أخطاء في السجلات، بل إن المهمة تعمل باستمرار في Sidekiq الآن. لقد حاولت إعادة تشغيل الخادم وإعادة تشغيل التطبيق دون جدوى.

schleifer · 17 يونيو 2020، 5:37م

جرّب تشغيل هذا ولاحظ ما إذا كان يُنتج خطأً:

cd /var/discourse
./launcher enter app
rails console
BackupRestore::S3BackupStore.create.vacate_legacy_prefix

إذا لم تكن هناك نسخ احتياطية فعلية في الدلو، يجب أن تُنتج السطر الأخير قائمة فارغة:

=> []

davidkingham · 18 يونيو 2020، 7:37م

شكرًا لك أندرو، لقد قمت بمسحها مرة أخرى وحصلت على هذا:

[1] pry(main)> BackupRestore::S3BackupStore.create.vacate_legacy_prefix
=> []
[2] pry(main)>

الموضوع		الردود	مرات العرض
Intended path to migrate S3 to local Self-hosting uploads , s3	5	850	13 مايو 2023
Sidekiq is being paused, how can I discover why? Support	18	3228	20 سبتمبر 2018
Backups fail to upload to S3 several times- works eventually Support backups , s3	7	215	27 مايو 2025
Unable to backup or navigate to backups Bug s3	23	377	18 نوفمبر 2024
Unknown items in Backup list Support	8	685	18 يناير 2019

وظيفة VacateLegacyPrefixBackups عالقة

الموضوعات ذات الصلة