Существуют ли какие-либо верхние ограничения для плагина RSS Polling?

Sidekiq предлагает некоторые ответы.

Сегодня я заметил, что страницы загружались слишком долго. В последние дни я уже отмечал некоторую медлительность то тут, то там, например, в том, сколько времени занимала замена ссылок Discourse на заголовки страниц.

Я проверил Sidekiq и обнаружил: +100 задач в очереди + 5 выполняющихся. Почти все они касались опроса RSS-лент. Я изменил периодичность опроса с 10 минут до 1 часа и удалил задачи.

Затем я проверил сервер, и вот что произошло до и после изменения:

Мое предположение (основанное только на этом, я ещё не проверял код) состоит в том, что опрос RSS-лент отправляет ленты в очередь в количестве, равном числу ваших лент. Очередь гарантирует, что количество одновременно выполняемых задач будет разумным. Но… я предполагаю, что риск заключается в том, что очередь лент становится настолько длинной, что при запуске нового опроса RSS предыдущий всё ещё выполняется, и именно в этот момент начинаются проблемы, пока не произойдёт сброс, но очередь снова начнёт расти, и так далее.

Пожалуйста, поправьте меня, если мой анализ неверен. :slight_smile:

ОБНОВЛЕНИЕ: Опрос RSS в действии, +60 лент (в ещё новой сообществе без массовой активности и тем более в ночные часы).