Sidekiq предлагает некоторые ответы.
Сегодня я заметил, что страницы загружались слишком долго. В последние дни я уже отмечал некоторую медлительность то тут, то там, например, в том, сколько времени занимала замена ссылок Discourse на заголовки страниц.
Я проверил Sidekiq и обнаружил: +100 задач в очереди + 5 выполняющихся. Почти все они касались опроса RSS-лент. Я изменил периодичность опроса с 10 минут до 1 часа и удалил задачи.
Затем я проверил сервер, и вот что произошло до и после изменения:
Мое предположение (основанное только на этом, я ещё не проверял код) состоит в том, что опрос RSS-лент отправляет ленты в очередь в количестве, равном числу ваших лент. Очередь гарантирует, что количество одновременно выполняемых задач будет разумным. Но… я предполагаю, что риск заключается в том, что очередь лент становится настолько длинной, что при запуске нового опроса RSS предыдущий всё ещё выполняется, и именно в этот момент начинаются проблемы, пока не произойдёт сброс, но очередь снова начнёт расти, и так далее.
Пожалуйста, поправьте меня, если мой анализ неверен. ![]()
ОБНОВЛЕНИЕ: Опрос RSS в действии, +60 лент (в ещё новой сообществе без массовой активности и тем более в ночные часы).

