Мы создаём сайт, который сильно полагается на RSS-опросы (сообщество подкастов, где у каждого есть своя категория и свой RSS-канал, публикуя новые посты по мере выхода новых эпизодов на платформах). Меня интересует, каков риск того, что мы «умрём от успеха», то есть количество лент превысит возможности RSS-опросов.
В частности:
- Тестировали ли вы этот плагин с очень большим количеством лент?
- Если лент много, влияет ли это на нагрузку при опросе каждые 10 минут или, скажем, каждый час?
- Все ли ленты опрашиваются одновременно, по очереди или как-то иначе? Я спрашиваю, потому что одновременный опрос теоретически более чувствителен к большому количеству лент, чем последовательный.
Повторяющаяся, пока безвредная ошибка, возможно связанная с наличием нескольких лент, побудила меня задать эти вопросы сейчас, а не когда будет уже слишком поздно. 
Почти как и ожидалось, этот вопрос становится всё более актуальным по мере добавления новых лент на наш сайт.
В данный момент при добавлении новой ленты почти гарантированно первый импорт не происходит в течение ожидаемых 10 минут (согласно частоте опроса, заданной в настройках).
Также может меняться порядок сортировки лент на странице администратора, где все ленты определяются. При меньшем количестве лент список всегда был статичным и сортировался в том же порядке, в котором ленты были добавлены. Я не знаю, что вызывает изменение порядка, и по какому принципу происходит сортировка в новых версиях.
Меня просто интересует, не являются ли эти симптомы признаком более серьёзной проблемы, которая может привести к сбою нашего сайта или сделать опрос/публикацию лент ненадёжной.
Я думаю, что это самый важный вопрос. Если кто-то сможет указать мне на фрагмент кода, отвечающий за опрос, возможно, я смогу разобраться сам.
Небольшое обновление: мы выяснили, что эта проблема не связана с количеством лент. И теперь она решена. Отлично!
Также заинтересован в вопросах, связанных с производительностью здесь
Sidekiq предлагает некоторые ответы.
Сегодня я заметил, что страницы загружались слишком долго. В последние дни я уже отмечал некоторую медлительность то тут, то там, например, в том, сколько времени занимала замена ссылок Discourse на заголовки страниц.
Я проверил Sidekiq и обнаружил: +100 задач в очереди + 5 выполняющихся. Почти все они касались опроса RSS-лент. Я изменил периодичность опроса с 10 минут до 1 часа и удалил задачи.
Затем я проверил сервер, и вот что произошло до и после изменения:
Мое предположение (основанное только на этом, я ещё не проверял код) состоит в том, что опрос RSS-лент отправляет ленты в очередь в количестве, равном числу ваших лент. Очередь гарантирует, что количество одновременно выполняемых задач будет разумным. Но… я предполагаю, что риск заключается в том, что очередь лент становится настолько длинной, что при запуске нового опроса RSS предыдущий всё ещё выполняется, и именно в этот момент начинаются проблемы, пока не произойдёт сброс, но очередь снова начнёт расти, и так далее.
Пожалуйста, поправьте меня, если мой анализ неверен.
ОБНОВЛЕНИЕ: Опрос RSS в действии, +60 лент (в ещё новой сообществе без массовой активности и тем более в ночные часы).
Привет, удалось ли узнать, есть ли ограничение на максимальное количество каналов, которые можно использовать? Спасибо.
