Аномально высокая загрузка процессора

[supermathie (Michael Brown)]

@char

Я предполагаю, что не хватает памяти: запросы уходят в своп.

(не своп, но они читают с диска)

это согласуется с моими более ранними наблюдениями:

@supermathie

приложения занимают всего около 6 ГБ. Происходит много чтения, и, по моему предположению (вместе с тем, что Sidekiq занят), возможно, PostgreSQL выполняет много операций чтения старых данных с диска, возможно, для выполнения статистических задач. Если база данных не помещается в оперативной памяти, при доступе к этим старым данным она может выполнять много операций чтения.

@char

pg_total_relation_size

Обратите внимание, что это размер отношения и индексов. Сравните с pg_relation_size.

@char

  2501 | 2026-02-07 11:25:01.028892+00 | active | IO              | DataFileRead | UPDATE posts                                                                                        +
       |                               |        |                 |              | SET percent_rank = X.percent_rank                                                                   +
       |                               |        |                 |              | FROM (                                                                                              +
       |                               |        |                 |              |   SELECT posts.id, Y.percent_rank                                                                   +
       |                               |        |                 |              |   FROM posts

Это из ScoreCalculator, часть PeriodicalUpdates.

@char

многие пересчеты статистики занимают ресурсы (например, Jobs::DestroyOldDeletionStubs — 419 секунд; Jobs::AboutStats — 472 секунды; Jobs::EnsureDbConsistency — 2083 секунды; Jobs::TopRefreshOlder — 2727 секунд)

Это ваше наблюдение, которое необходимо решить. Для сравнения, здесь, на meta, Jobs::EnsureDbConsistency выполняется за <2 минуты, а Jobs::TopRefreshOlder — за <10 секунд:

Postgres нуждается в большем объеме памяти. Выделите ему как можно больше.

Также может помочь выполнение VACUUM ANALYZE или VACUUM ANALYZE FULL. Выполнение первого никогда не вредит.

Я бы рекомендовал выполнить в следующем порядке:

• vacuum analyze
• приостановить Sidekiq, затем выполнить vacuum analyze full (это замораживает таблицы для их полной перезаписи, что может привести к некоторым сбоям во время выполнения)
• увеличить объем памяти для PostgreSQL