كيفية توزيع عملية الاستيراد على مدى زمني أطول لتجنب الوقوع في rate limits لـ external services

الخلفية: Imgur images not rendering because server is rate limited

لدي بالفعل نص استيراد مخصص مكتوب بلغة روبي. إنه يعمل ويضيف جميع المواضيع، ومع ذلك فهو سريع جدًا. يؤدي هذا إلى قيام الخادم بجلب الكثير من الصور من خدمات خارجية مثل imgur عند خبز المشاركات.

ما هي أفضل طريقة لإبطاء هذا؟ أعني أن الطريقة التافهة هي ببساطة ترك عملية الاستيراد تنام قليلاً بين المشاركات. ولكن هذا سيؤدي إلى نص تشغيل طويل محتمل (نظرًا لكمية الصور وحد imgur، ما يقرب من 3 أيام). هل هناك أي طريقة أخرى، مثل استيراد جميع المواضيع دفعة واحدة ولكن إخبار discourse بخبز عدد معين فقط من المشاركات في الدقيقة؟ بهذه الطريقة يتم إنشاء المواضيع على الفور ولكن يتم بناء html بشكل غير متزامن.

يمكنك إعادة خبز المنشورات لاحقًا. كل بضعة أيام يمكنك إعادة خبز المنشورات السيئة.

هل هناك طريقة للعثور على المشاركات السيئة، حتى أتمكن من إعادة بنائها بشكل خاص؟ أعرف أنه يمكنني إعادة خبز الكل عبر rake. لكن هذا سيبدأ دائمًا بنفس المشاركات وسيتجاوز حد المعدل قبل الوصول إلى المشاركات السيئة.

بعد المزيد من الاختبار، أحتاج حقًا إلى منع الوصول إلى حد المعدل في المقام الأول. مع كمية الصور المضمنة، يبدو أن عنوان IP ينتهي به الأمر في القائمة السوداء لبضعة أيام على الأقل (لقد مرت 4 أيام منذ أن قمت بالخبز على هذا الجهاز، ولا يزال مدرجًا في القائمة السوداء). لذلك لا يمكنني ببساطة إعادة خبز المنشورات لاحقًا.

أي فكرة حول كيفية توزيع الخبز على مدى فترة زمنية أطول في المقام الأول؟