ToS3MigrationError: لم يتم ترحيل التحميلات إلى S3، مما أدى إلى تلف المرفقات. كيفية إصلاح هذا الخطأ؟

الدعم
1

FileStore::ToS3MigrationError: لم يتم ترحيل 182 من أصل 21512 ملفًا مرفوعًا إلى S3. فشل الترحيل إلى S3 لقاعدة البيانات ‘default’.

ثم بعض تتبع المكدس من ‘raise_or_log’، ‘migration_successful?’، ‘migrate_to_s3’، ‘migrate’، ‘block in migrate_to_s3_all_sites’

واجهت هذه الأخطاء مرتين أثناء تشغيل المهمة uploads:migrate_to_s3. لم يتم ترحيل حوالي 1% من الملفات بنجاح، مما أدى إلى تلف المرفقات على الموقع بعد إعادة التشكيل (rebake). يبدو أن جميع هذه الملفات قديمة تعود إلى الأشهر القليلة الأولى منذ إنشاء مثيل Discourse هذا لأول مرة.

عند البحث داخل مجموعة S3، يبدو أن الملفات قد تم رفعها بنجاح إلى S3، لكنها ببساطة غير مرتبطة بشكل صحيح بعد إعادة التشكيل.

إعادة تشغيل الترحيل (قبل إعادة التشكيل الأخرى) يبدو أنها أصلحت المشكلة لسبب ما. لا يزال الخطأ نفسه يحدث أثناء مهمة migrate_to_s3.

ومع ذلك، إذا قمت بتشغيل إعادة التشكيل مرة أخرى، فإن روابط المرفقات تتعطل مرة أخرى.

لا أعتقد أن هذه أخطاء، لكنني سأدرج الإخراج أثناء إعادة التشكيل

/var/www/discourse/lib/file_store/base_store.rb:6: تحذير: تم تهيئة الثابت FileStore::BaseStore::UPLOAD_PATH_REGEX مسبقًا
/var/www/discourse/lib/file_store/base_store.rb:6: تحذير: تم تعريف UPLOAD_PATH_REGEX سابقًا هنا
/var/www/discourse/lib/file_store/base_store.rb:7: تحذير: تم تهيئة الثابت FileStore::BaseStore::OPTIMIZED_IMAGE_PATH_REGEX مسبقًا
/var/www/discourse/lib/file_store/base_store.rb:7: تحذير: تم تعريف OPTIMIZED_IMAGE_PATH_REGEX سابقًا هنا

لا يكشف تشغيل rake posts:missing_uploads أو PostCustomField.where(name: Post::MISSING_UPLOADS) عن أي مشاكل، لذا يبدو أن هذا غير ذي صلة.

2

قد تكون مشكلتي مرتبطة بهذه القضية: Migrate_to_S3 Fails on Rebake - #12 by evenif

سأرى ما أتعلمه وقد أغلق هذا الموضوع وأنتقل بالحديث هناك.

3

تظهر المرفقات/التحميلات القديمة التالفة في نص المنشور الخام بصيغة [{اسم الملف}|attachment](/uploads/default/original/2X/6/{تجزئة sha1 + الامتداد}). ويتم معالجة هذا الرابط ليصبح href="/uploads/default/original/2X/6/{تجزئة sha1 + الامتداد}"، مما يكسر عمل المرفقات، لكنه لا يؤثر على الصور.

أما المرفقات اللاحقة التي تعمل بشكل صحيح فتظهر بصيغة [{اسم الملف}|attachment](upload://{تجزئة sha1 إلى base62 + الامتداد}) ويتم معالجتها لتصبح href="/uploads/short-url/{تجزئة sha1 إلى base62 + الامتداد}".

لقد كتبت كودًا صغيرًا بلغة Ruby للمرور عبر جميع المنشورات في الفترة الزمنية المعروفة بأنها مشكلة، واستبدلت جميع عناوين التحميل القديمة بالإصدار الأحدث. وقد استخدمت دالة base62_sha1 في نموذج Upload لتحويل تجزئة sha1 إلى اسم الملف المتوقع الذي تتوقعه عناوين التحميل القصيرة في نظام Discourse.

هذا جعل المرفقات تعمل. ثم قمت بتشغيل عملية إعادة طهي (rebake) أخرى للتأكد من الإصلاح، ويبدو أنها لا تزال تعمل بشكل صحيح. يبدو أن المشكلة كانت مقتصرة على Post.raw ولم يكن لها أي علاقة بـ Upload.