RSSポーリング(ポッドキャストのコミュニティで、それぞれが独自のカテゴリを持ち、プラットフォームで新しいエピソードを公開するたびに新しい投稿を公開するRSS)に大きく依存するサイトを構築しています。RSSポーリングが処理できる量を超えるフィードを導入した場合、成功による破滅のリスクがあるのではないかと疑問に思っています。
具体的には:
- このプラグインを多数のフィードでテストしたことがありますか?
- フィードが多い場合、10分ごとまたは1時間ごとにポーリングすることに、ストレスの点で違いはありますか?
- すべてのフィードは同時にポーリングされますか、それとも順番にポーリングされますか、それとも何か別の方法ですか?同時にポーリングすると、フィードが1つずつポーリングされる場合よりも、多数のフィードに対して理論的により敏感になるのではないかと質問しています。
繰り返し発生する、今のところ無害なエラーは、複数のフィードがあることに関連している可能性があり、手遅れになる前にこれらの質問をする動機となりました。 
「いいね!」 3
予想通り、サイトにフィードを追加するにつれて、この質問はより関連性が高まっています。
現在、新しいフィードを追加すると、設定で定義されたポーリング頻度に従って、最初のインポートが期待される10分以内に行われないことがほぼ保証されています。
また、すべてのフィードが定義されている管理ページのフィードの並べ替えですが、これは変更される可能性があります。フィードが少なかった頃は、フィードが追加された順序と同じ順序でソートされた静的なリストでした。順序が変更される原因も、新しいソート順でフィードが従う原則もわかりません。
これらは、サイトがダウンしたり、フィードのポーリング/投稿が信頼できなくなったりする、より大きな問題の単なる兆候なのかどうか、疑問に思っています。
これが最も関連性の高い質問だと思います。ポーリングを指示するコードの部分を誰かが教えてくれれば、自分で解決できるかもしれません。
アップデートですが、この問題はフィードの量とは無関係であることがわかりました。そして、それは現在解決されています。非常に良いです!
「いいね!」 1
Sidekiq がいくつかの回答を提供します。
本日、ページが読み込まれるのに少し時間がかかりすぎていることに気づきました。ここ数日、Discourse リンクがページタイトルとしてレンダリングされるのにかかる時間など、あちこちでいくつかの遅延に気づいていました。
Sidekiq を確認したところ、エンキューされたジョブが 100 件以上、ビジー状態のジョブが 5 件ありました。それらのほとんどは RSS ポーリング フィードでした。ポーリング周期を 10 分から 1 時間に変更し、ジョブを削除しました。
その後、サーバーを確認したところ、変更前と変更後の状況は次のとおりです。
私の推測(これだけに基づいたもので、まだコードを確認していません)は、RSS ポーリングは、フィードをできるだけ多くキューに送信するということです。キューは、合理的な数の同時ジョブを確保します。しかし…フィードのキューが非常に長くなり、新しい RSS ポーリングが開始されたときに、最後のものがまだ実行されている可能性があり、リセットされるまで状況が悪化し、キューは再び成長し、といった状況になるのではないかと思います。
この分析が間違っていたら訂正してください。 
更新: RSS ポーリングが動作中です。60 件以上のフィードがあります(まだ新しいコミュニティで、大規模なアクティビティはなく、睡眠時間中はさらに少ないです)。
「いいね!」 1
こんにちは、使用できるフィードの最大数があるかどうか、お分かりになりましたか?ありがとうございます。