Tu conexión de red Redis está funcionando muy mal

markersocial · 12 Diciembre, 2024 22:26

Constantemente obtengo esto en los registros, con valores entre ~100k y ~1.35m, pero las lecturas cercanas a 100k parecen ser bastante comunes:

Tu conexión de red de Redis tiene un rendimiento extremadamente pobre. Las últimas lecturas de RTT fueron [97069, 103986, 98459, 100762, 381617], idealmente deberían ser < 1000. Asegúrate de que Redis se esté ejecutando en la misma AZ o centro de datos que Sidekiq. Si estos valores están cerca de 100 000, significa que tu proceso Sidekiq puede estar saturado de CPU; reduce tu concurrencia y/o consulta https://github.com/mperham/sidekiq/discussions/5039

¿Esto indica que quizás Redis no puede usar suficiente CPU? Sin embargo, parece haber mucho margen para la CPU y la RAM en el propio servidor.

También:
Sidekiq está consumiendo demasiada memoria (usando: 3570.19M) para 'www.example.com', reiniciando

Esto está usando la aplicación todo en uno app.yml con Discourse estable 3.3.2.

Desde el app.yml:

UNICORN_SIDEKIQS: 9
DISCOURSE_SIDEKIQ_WORKERS: 5

También agregué esta configuración al host:

Michael K Johnson:

Configuración del Kernel

Redis (uno de los componentes clave sobre los que se basa Discourse) recomienda encarecidamente deshabilitar las páginas grandes transparentes cuando se utiliza persistencia en disco (lo que hace Discourse), y yo también permito la sobreasignación de memoria.
echo 'sys.kernel.mm.transparent_hugepage.enabled=never' > /etc/sysctl.d/10-huge-pages.conf
echo 'vm.overcommit_memory=1' > /etc/sysctl.d/90-vm_overcommit_memory.conf
sysctl --system

Información del panel de Sidekiq:

Parece que Redis no puede superar el uso de memoria de 1024M.

Si alguien tiene alguna idea, ¡lo agradecería!

markersocial · 19 Diciembre, 2024 14:38

Para dar seguimiento a esto, tengo el mismo problema con Jobs::PostAlert:

Con esos trabajos a menudo llegando a 15 minutos cuando se usan 4 sidekiqs con 5 hilos (predeterminado) con las pruebas actuales. Parece que la velocidad de trabajos por segundo para Sidekiq depende en gran medida de cuántos de esos trabajos se ejecutan simultáneamente y cuántos hilos están libres para los otros trabajos.

Aumentar los Sidekiqs a 6 o más (5 hilos) aumentará la velocidad de limpieza de la cola, pero postgres fallará con bastante regularidad (supongo que debido a que se ejecutan demasiados trabajos Jobs::PostAlert simultáneamente).

Esto está en Stable 3.3.2. Los cambios y correcciones del hilo enlazado ya parecen estar implementados en 3.3.2, si no me equivoco.

supermathie · 19 Diciembre, 2024 16:11

Postgres nunca debería fallar y, en general, indica un error de postgres o algún tipo de problema mayor.

¿Tienes registros?

Ed_S · 19 Diciembre, 2024 17:10

¿Has reiniciado el servidor desde que hiciste esos cambios en la configuración del kernel?

Quizás

lscpu

también sería útil.

Falco · 19 Diciembre, 2024 17:21

Nunca deberías aumentar UNICORN_SIDEKIQS tanto, solo aumentar los workers pero

Esto nunca debería suceder.

Las posibilidades son:

Tienes restricciones de recursos porque o
a) Tu sitio ha superado los recursos del servidor
b) Estás mal asignando recursos
Hay un error en alguna parte de la pila

Yo empezaría haciendo

UNICORN_SIDEKIQS: 1
DISCOURSE_SIDEKIQ_WORKERS: 20

lo que debería liberar algo de RAM de tu servidor.

Para más información, necesitarás ejecutar los trabajos que causan el problema en una consola de PostgreSQL e informar cuál es el cuello de botella.

markersocial · 16 Febrero, 2026 07:10

Disculpas por desaparecer y gracias por las respuestas.

Creo que el principal problema de la lentitud de Redis era que THP seguía activado (cuando pensaba lo contrario):

Para los fallos de PG, la solución principal para mí fue añadir esto a app.yml:

docker_args:
  - "--shm-size=34g"

Con el valor establecido en db_shared_buffers + 2GB, siendo db_shared_buffers el 25% de la RAM total de la máquina anfitriona.

Anulando el valor predeterminado de 512m:

github.com/discourse/discourse_docker

launcher

4ae1f6914


      
               if [ -z "$SKIP_MAC_ADDRESS" ] ; then
                mac_address="--mac-address $($docker_path run $user_args -i --rm -a stdout -a stderr $image /bin/sh -c "echo $hostname | md5sum | sed 's/^\(..\)\(..\)\(..\)\(..\)\(..\).*$/02:\1:\2:\3:\4:\5/'")"
               fi
          
               if [ ! -z "$START_CMD_ONLY" ] ; then
                 docker_path="true"
               fi
          
               set -x
          
               $docker_path run --shm-size=512m $links $attach_on_run $restart_policy "${env[@]}" "${labels[@]}" -h "$hostname" \
                  -e DOCKER_HOST_IP="$docker_ip" --name $config -t "${ports[@]}" $volumes $mac_address $user_args \
                  $run_image $boot_command
          
             )
             exit 0
          
          }
          
          run_run() {
            set_template_info

github.com/discourse/discourse_docker

launcher

4ae1f6914


      
          
          }
          
          run_run() {
            set_template_info
            set_volumes
            set_links
            set_run_image
          
            unset ERR
            (exec $docker_path run --rm --shm-size=512m $user_args $links "${env[@]}" -e DOCKER_HOST_IP="$docker_ip" -i -a stdin -a stdout -a stderr $volumes $run_image \
              /bin/bash -c "$run_command") || ERR=$?
          
            if [[ $ERR > 0 ]]; then
              exit 1
            fi
          }
          
          run_bootstrap() {
            set_template_info

github.com/discourse/discourse_docker

launcher

4ae1f6914


      
              pups_command="$pups_command git pull && git checkout $pups_version &&"
            fi
            pups_command="$pups_command /pups/bin/pups --stdin"
          fi
          
          echo $pups_command
          
          declare -i BOOTSTRAP_EXITCODE
          rm -f $cidbootstrap
          
          echo "$input" | $docker_path run --shm-size=512m $user_args $links "${env[@]}" -e DOCKER_HOST_IP="$docker_ip" --cidfile "$cidbootstrap" -i -a stdin -a stdout -a stderr $volumes $image \
            /bin/bash -c "$pups_command"
          BOOTSTRAP_EXITCODE=$?
          
          CONTAINER_ID=$(cat "$cidbootstrap")
          rm -f "$cidbootstrap"
          
          # magic exit code that indicates a retry
          if [[ $BOOTSTRAP_EXITCODE -eq 77 ]]; then
            $docker_path rm "$CONTAINER_ID"
            exit 77

Ed_S · 16 Febrero, 2026 12:13

He revisado tu historial de publicaciones y veo en Problema de Sidekiq muy lento… números masivos de notificaciones de usuario no leídas que estabas utilizando un servidor de 32 núcleos y 128 GB, con una base de usuarios muy grande y activa. Así que, en ese contexto, ¡entiendo por qué 34G no es un número tan grande! Sin embargo, como contexto, podría ser útil (e interesante) conocer el tamaño de tu configuración, quizás aquí o incluso en tu biografía. (quizás usuarios activos diarios y mensuales, tamaño de las copias de seguridad de la base de datos, configuración del servidor en RAM, swap, disco, CPU). Tal vez incluso un hilo donde simplemente compartamos nuestras estadísticas, grandes y pequeñas.

Tema		Respuestas	Vistas
Redis used_memory limited to 1024mb? Support	2	142	16 Febrero 2026
Could sidekiq queue be reason for 500 errors? Self-hosting server-resources	31	3929	13 Julio 2018
Sidekiq is consuming too much memory, restarting Self-hosting	40	8840	13 Octubre 2020
Redis connection timed out Self-hosting	30	9611	8 Junio 2024
Locks up while running Sidekiq after migration Self-hosting	6	2375	24 Diciembre 2017

Tu conexión de red Redis está funcionando muy mal

Temas relacionados