Мы создаём сайт, который сильно полагается на RSS-опросы (сообщество подкастов, где у каждого есть своя категория и свой RSS-канал, публикуя новые посты по мере выхода новых эпизодов на платформах). Меня интересует, каков риск того, что мы «умрём от успеха», то есть количество лент превысит возможности RSS-опросов.
В частности:
- Тестировали ли вы этот плагин с очень большим количеством лент?
- Если лент много, влияет ли это на нагрузку при опросе каждые 10 минут или, скажем, каждый час?
- Все ли ленты опрашиваются одновременно, по очереди или как-то иначе? Я спрашиваю, потому что одновременный опрос теоретически более чувствителен к большому количеству лент, чем последовательный.
Повторяющаяся, пока безвредная ошибка, возможно связанная с наличием нескольких лент, побудила меня задать эти вопросы сейчас, а не когда будет уже слишком поздно. 
Почти как и ожидалось, этот вопрос становится всё более актуальным по мере добавления новых лент на наш сайт.
В данный момент при добавлении новой ленты почти гарантированно первый импорт не происходит в течение ожидаемых 10 минут (согласно частоте опроса, заданной в настройках).
Также может меняться порядок сортировки лент на странице администратора, где все ленты определяются. При меньшем количестве лент список всегда был статичным и сортировался в том же порядке, в котором ленты были добавлены. Я не знаю, что вызывает изменение порядка, и по какому принципу происходит сортировка в новых версиях.
Меня просто интересует, не являются ли эти симптомы признаком более серьёзной проблемы, которая может привести к сбою нашего сайта или сделать опрос/публикацию лент ненадёжной.
Я думаю, что это самый важный вопрос. Если кто-то сможет указать мне на фрагмент кода, отвечающий за опрос, возможно, я смогу разобраться сам.
Небольшое обновление: мы выяснили, что эта проблема не связана с количеством лент. И теперь она решена. Отлично!
Также заинтересован в вопросах, связанных с производительностью здесь
Sidekiq предлагает некоторые ответы.
Сегодня я заметил, что страницы загружались слишком долго. В последние дни я уже отмечал некоторую медлительность то тут, то там, например, в том, сколько времени занимала замена ссылок Discourse на заголовки страниц.
Я проверил Sidekiq и обнаружил: +100 задач в очереди + 5 выполняющихся. Почти все они касались опроса RSS-лент. Я изменил периодичность опроса с 10 минут до 1 часа и удалил задачи.
Затем я проверил сервер, и вот что произошло до и после изменения:
Мое предположение (основанное только на этом, я ещё не проверял код) состоит в том, что опрос RSS-лент отправляет ленты в очередь в количестве, равном числу ваших лент. Очередь гарантирует, что количество одновременно выполняемых задач будет разумным. Но… я предполагаю, что риск заключается в том, что очередь лент становится настолько длинной, что при запуске нового опроса RSS предыдущий всё ещё выполняется, и именно в этот момент начинаются проблемы, пока не произойдёт сброс, но очередь снова начнёт расти, и так далее.
Пожалуйста, поправьте меня, если мой анализ неверен.
ОБНОВЛЕНИЕ: Опрос RSS в действии, +60 лент (в ещё новой сообществе без массовой активности и тем более в ночные часы).
Привет, удалось ли узнать, есть ли ограничение на максимальное количество каналов, которые можно использовать? Спасибо.
Привет, очень и очень извините за столь поздний ответ. Я просто не заметил ваш вопрос. На случай, если это всё ещё кому-то интересно…
Пока я не нашёл жёсткого лимита, но всё упирается в мощность вашего сервера, объём RSS-лент (количество эпизодов, возможно, размер изображений?) и частоту их обновления.
Опрос RSS всё ещё создаёт огромную нагрузку на Sidekiq: обработка некоторых лент может занимать более 20 минут. Если пять одновременных задач «застревают» из-за таких долгих опросов RSS, очередь задач начинает расти. Настоящий предел наступает, когда у Sidekiq не хватает времени, чтобы обработать все задачи во всех очередях между опросами RSS. Когда это происходит, следующий опрос RSS, скорее всего, ещё больше перегрузит очереди, и в итоге что-то упадёт или перезапустится. Пользователь может даже не заметить ничего подозрительного. Некоторые RSS-ленты из-за этого могут не обновляться.
