سؤال سريع حول تخزين ملفات AWS S3 - الهيكل؟

الدعم
1

مرحبًا!

لقد قمت بالبحث في قناة Support ولكن لم أجد إجابة موجودة مسبقًا، لذا آسف على طرح سؤال دعم سريع:

نستخدم S3 لتخزين ملفات Discourse منذ عام 2016 تقريبًا. عندما نظرت إلى الجذر في حاوية S3، فوجئت برؤية هيكل مجلدات “أعلى” مما كنت أتوقع، مثل optimized/ و original/ وما إلى ذلك.

هل يعتقد البعض أنه آمن إزالة المجلدات المرقمة في الجذر، مثل 99/، ربما بسبب نسخ خاطئ حدث منذ وقت طويل؟ من الممكن أنها تم نسخها منذ فترة طويلة إلى المكان الخطأ. هل من الممكن أن تحتوي المنشورات على مسارات قديمة مُدمجة في تلك المواقع التي لا أريد كسرها؟

إليك كيف يبدو الأمر، وهدفي هو تنظيفه (إذا كان يحتاج إلى ذلك من الأساس):

image
image580×377 12.1 KB

وبعبارة أخرى، إذا كان أي شخص يستخدم S3 بالفعل، فما هو اسم الكائنات في جذر التخزين من فضلك؟

شكرًا على أي مساعدة. تحياتي :beers:

2

سؤال جيد، من الذي يعرف تاريخ هذا @sam؟

3

أعتقد أننا قد نكون غريبين بعض الشيء :slight_smile: حيث أننا نستخدم Discourse منذ حوالي عام 2015، وقد قمنا بتغيير مواقع التخزين على مر السنين.

بدأنا باستخدام التخزين المحلي للملفات، ثم نمونا قليلاً وانتقلنا بعد ذلك إلى استخدام التحميلات المخزنة على S3. في ذلك الوقت، لا أعتقد أننا قمنا بنقل الملفات الموجودة عن طريق إعادة معالجة المنشورات، لذا فإن أقدم المنشورات لا تزال تستخدم عناوين URL غير المحلية.

أود أن أشير إلى أننا لن نحذف أي شيء كما هو عليه الآن، لأنه حتى لو تغيرت التنظيمات على مر السنين، فإننا نتحدث عن أعداد صغيرة، والأفضل في هذه الحالة هو ترك ما لدينا كما هو.

4

بصراحة، لا أعرف كيف ظهرت هذه المجلدات من 96 إلى 99، فهي ليست المكان الذي نخزن فيه الملفات المرفوعة.

5

شكرًا لك على المراجعة @sam، من الجيد معرفة ذلك — أتساءل عما إذا كنا قد قمنا بنسخ ما لدينا يدويًا إلى S3، مما أدى إلى حدوث خطأ. لم يتسبب ذلك في أي ضرر.

في جذر سلة S3 لدينا:

_emoji/
_optimized/
optimized/
original/
tombstone/

بالإضافة إلى مجموعة كبيرة من المجلدات المرقمة تبدأ من 1/ وتصل إلى 225/. يحتوي كل مجلد مرقم على ملف صورة واحد فقط، باسم مثل ‘874c0706216382af.jpg’.

يحتوي مجلد tombstone على دورة حياة S3 لوضع علامة عليه كمحذوف بعد 30 يومًا.

لذا، بناءً على التخمين، هل يُستخدم فقط optimized/ و original/ و tombstone/؟

6

نعم، يبدو ذلك صحيحًا إلى حد ما.

7

هذه الملفات موجودة دائمًا في المنتديات القديمة جدًا (حوالي عام 2014). أعتقد أنها سبقت optimized و original، وأظن أنها لا تزال يُشار إليها.

8

لم أستطع مقاومة معرفة هذا. إنها بالفعل مخطط رفع قديم. تم التخلي عنه لاحقًا مما كنت أظن، في مايو 2015، مع هذا الالتزام.

هذه الملفات المرفوعة لا تزال قيد الاستخدام، لذا لا تقم بإزالتها!

9

شكرًا لك يا مايكل. نظرًا لأن هذه الملفات تعود إلى بداياتنا في عام 2014، فإن أرقام الملفات صغيرة وسنبقيها كما هي. :slight_smile:

من المثير للاهتمام أننا قمنا بنقل الخادم مؤخرًا، واتبعنا مسار نسخ احتياطي لاستعادة Discourse (بدلاً من الترقية المباشرة لنسخة Unix الأساسية)، وأعتقد (على الرغم من أنني لست متأكدًا بنسبة 100٪) أن عملية الاستعادة لم تضع هذه الملفات المحلية في مكانها بشكل صحيح. كانت هذه الملفات مدرجة في أرشيف النسخ الاحتياطي، لكن عملية الاستعادة بدت وكأنها تعمل فقط للملفات المحسنة/الأصلية دون ذلك.

لم يكن الأمر مشكلة كبيرة، لأننا تمكنا من فك ضغطها بأنفسنا باستخدام أمر tar -x من أرشيف النسخ الاحتياطي (عندما لاحظنا أن الخادم القديم والجديد يختلفان في محتويات/ملفات التحميل)، لكن هذا قد يُربك شخصًا ما، لذا أردت ذكر ذلك هنا.

على الرغم من أن 99.9٪ من ملفات التحميل لدينا تُقدّم الآن من S3 (لقد انتقلنا من التخزين المحلي إلى S3 في وقت مبكر نسبيًا)، أعتقد أننا قد يكون لدينا نسخ من الملفات المحلية عند إنشاء خزانة S3 يدويًا في البداية. عند التفكير في الأمر، ربما كان ينبغي إعادة بناء المنشورات، لكن الأمر كان يعمل بشكل جيد بما يكفي مع المنشورات القديمة جدًا والصغيرة جدًا التي تحتوي على رابط تحميل الملف المحلي).