Sidekiq потребляет слишком много памяти, даже при настройке UNICORN_SIDEKIQ_MAX_RSS

[pfaffman (Jay Pfaffman)]

Продолжение обсуждения из темы Sidekiq потребляет слишком много памяти и перезапускается:

@sam

За исключением этого, да, на очень загруженных мультисайтах необходимо настроить UNICORN_SIDEKIQ_MAX_RSS.

Я изменил настройку и вижу следующее в контейнере:

root@ip-10-4-2-52:/# set|grep SIDE
UNICORN_SIDEKIQS=1
UNICORN_SIDEKIQ_MAX_RSS=1000

Однако в логах я вижу:

Sidekiq потребляет слишком много памяти (используется: 535.10M) для 'site', перезапуск

Кажется, что 535.10M < 1000, верно? Мне кажется, я где-то опечатался или допустил какую-то другую глупость.

Это очень загруженный сайт с 600–800 тыс. просмотров страниц в день, работающий на 7 веб-контейнерах (в основном бездействующих) в ECS.

В задаче выделено 4 процессора, стоит ли мне увеличить UNICORN_SIDEKIQS?

Если я выполню [ENV["UNICORN_SIDEKIQ_MAX_RSS"].to_i, 500].max.megabytes в Rails, то получу 1048576000, так что, похоже, Rails должен иметь доступ к переменной окружения. Но возможно, запуск Rails вручную каким-то образом отличается от того, который запускается при загрузке?

[sam (Sam Saffron)]

Похоже, вы всё делаете правильно… Если вы установите UNICORN_SIDEKIQS в 2, вы увидите 2 процесса Sidekiq?

[pfaffman (Jay Pfaffman)]

Сначала я попробую увеличить количество Sidekiq, но меня сбивает с толку сообщение о том, что 538 МБ — это слишком много, хотя лимит установлен на 1000.

[sam (Sam Saffron)]

Согласен, просто хочу убедиться, что хотя бы одна из переменных окружения «приживается».

[sandra.mccollum]

Было ли какое-либо решение этой проблемы? В моих логах я вижу следующее:

Sidekiq потребляет слишком много памяти (использует: 501,37 МБ), перезапуск

UNICORN_SIDEKIQ_MAX_RSS: 1000

При этом сайт не отличается высокой нагрузкой.

Что ещё можно попробовать?

[sandra.mccollum]

Это проблема Sidekiq? И независимо от этого, будет ли эта проблема исправлена?

Исключение задачи: MiniScheduler::DistributedMutex::Timeout
Мы 18:21

mini_scheduler-0.17.0/lib/mini_scheduler/distributed_mutex.rb:43:in `synchronize' 
mini_scheduler-0.17.0/lib/mini_scheduler/distributed_mutex.rb:15:in `synchronize' 
mini_scheduler-0.17.0/lib/mini_scheduler/manager.rb:365:in `lock' 
mini_scheduler-0.17.0/lib/mini_scheduler/manager.rb:316:in `tick' 
mini_scheduler-0.17.0/lib/mini_scheduler.rb:76:in `block (2 levels) in start' 

Опубликовано NateDhaliwal:

[haydenjames]

@sandra.mccollum У меня тоже похожая проблема.

Вам удалось её решить?