نحن نبني موقعًا يعتمد بشكل كبير على استطلاع RSS (مجتمع من البودكاست، لكل منها فئتها الخاصة ونشر RSS الخاص بها للمنشورات الجديدة عند نشر حلقات جديدة على منصاتها). كنت أتساءل عن خطر أن نموت بسبب النجاح، أي جلب عدد أكبر من خلاصات RSS مما يمكن أن يتعامل معه استطلاع RSS.
على وجه التحديد:
- هل اختبرت هذه الإضافة مع عدد كبير جدًا من خلاصات RSS؟
- إذا كان هناك العديد من خلاصات RSS، فهل هناك فرق من حيث الضغط للاستطلاع كل 10 دقائق أو، على سبيل المثال، كل ساعة؟
- هل يتم استطلاع جميع خلاصات RSS في نفس الوقت، أم يتم استطلاعها بالتتابع، أم شيء آخر؟ أسأل لأن الاستطلاع المتزامن سيكون من الناحية النظرية أكثر حساسية لكمية كبيرة من خلاصات RSS مما لو تم استطلاع خلاصات RSS واحدة تلو الأخرى.
خطأ متكرر وغير ضار حتى الآن ربما يتعلق بوجود العديد من خلاصات RSS قد دفعني لطرح هذه الأسئلة الآن بدلاً من فوات الأوان. 
3 إعجابات
كما هو متوقع تقريبًا، أصبح هذا السؤال أكثر أهمية مع إضافة المزيد من خلاصات الأخبار إلى موقعنا.
في الوقت الحالي، عندما نضيف خلاصات أخبار جديدة، يكاد يكون من المؤكد أن الاستيراد الأول لن يحدث خلال 10 دقائق المتوقعة (وفقًا لتردد الاستقصاء المحدد في الإعدادات).
أيضًا، ترتيب خلاصات الأخبار في صفحة الإدارة حيث يتم تعريف جميع خلاصات الأخبار… يمكن أن يتغير. مع وجود عدد أقل من خلاصات الأخبار، كانت دائمًا قائمة ثابتة مرتبة بنفس ترتيب إضافة خلاصات الأخبار. لا أعرف ما الذي يسبب تغيير الترتيب، ولا المبدأ الذي تتبعه خلاصات الأخبار في عمليات الفرز الأحدث.
أتساءل فقط عما إذا كانت هذه مجرد أعراض لمشكلة أكبر من شأنها أن تؤدي إلى انهيار موقعنا أو جعل استقصاء/نشر خلاصات الأخبار غير موثوق به.
أعتقد أن هذا هو السؤال الأكثر أهمية. إذا استطاع شخص ما توجيهي إلى جزء الكود الذي يعلم الاستقصاء، ربما يمكنني مساعدة نفسي.
مجرد تحديث، علمنا أن هذه المشكلة لم تكن مرتبطة بكمية خلاصات الأخبار. وتم حلها الآن. جيد جدًا!
إعجاب واحد (1)
مهتم أيضًا بالأسئلة المتعلقة بالأداء هنا
إعجابَين (2)
يقدم Sidekiq بعض الإجابات.
اليوم لاحظت أن الصفحات استغرقت وقتًا طويلاً للتحميل. في الأيام القليلة الماضية لاحظت بعض البطء هنا وهناك، على سبيل المثال في الوقت الذي استغرقته روابط Discourse لعرضها كعناوين للصفحات.
لقد تحققت من Sidekiq وكان هناك أكثر من 100 وظيفة في قائمة الانتظار + 5 وظائف مشغولة. معظمها كان استطلاع خلاصات RSS. لقد قمت بتغيير دورية الاستطلاع من 10 دقائق إلى ساعة وحذفت الوظائف.
ثم تحققت من الخادم، وهذا ما حدث قبل وبعد التغيير:
تخميني (بناءً على هذا وحده، لم أتحقق من الكود بعد) هو أن استطلاع خلاصات RSS سيرسل الخلاصات إلى قائمة الانتظار، بالعدد الذي لديك. ستضمن قائمة الانتظار وجود عدد معقول من الوظائف المتزامنة. ولكن… أعتقد أن الخطر هو أن تصبح قائمة انتظار الخلاصات طويلة جدًا بحيث عندما يتم تشغيل استطلاع RSS الجديد، لا يزال الأخير قيد التشغيل، وهذا هو الوقت الذي تسوء فيه الأمور حتى يحدث إعادة تعيين، ولكن ستنمو قائمة الانتظار مرة أخرى، وهكذا.
يرجى تصحيحي إذا كان هذا التحليل خاطئًا.
تحديث: استطلاع خلاصات RSS قيد التشغيل، +60 خلاصات (في مجتمع لا يزال جديدًا بدون نشاط كبير وحتى أقل خلال ساعات النوم).
إعجاب واحد (1)
مرحباً، هل تمكنت من معرفة ما إذا كان هناك عدد أقصى من الخلاصات التي يمكنك استخدامها؟ شكراً.
