Opción shm_size de Docker en app.yml

Ghan · 23 Diciembre, 2020 02:32

¿Sería posible convertir el parámetro shm_size en una opción en app.yml? Hoy encontré este error al intentar ejecutar un vacuum analyze:

ERROR: no se pudo redimensionar el segmento de memoria compartida

Estaba intentando aumentar el uso de shm a 1 GB y falló, ya que por defecto solo tiene 512 MB. Este parámetro parece estar en el script del lanzador, pero sería útil tenerlo como una opción (posiblemente comentada por defecto) en el archivo .yml.

tgxworld · 23 Diciembre, 2020 04:01

Puedes pasar argumentos personalizados de Docker para sobrescribir los predeterminados que proporcionamos con --docker-args.

github.com/discourse/discourse_docker

launcher

master


      
            echo "    enter:       Open a shell to run commands inside the container"
            echo "    logs:        View the Docker logs for a container"
            echo "    bootstrap:   Bootstrap a container for the config based on a template"
            echo "    run:         Run the given command with the config in the context of the last bootstrapped image"
            echo "    rebuild:     Rebuild a container (destroy old, bootstrap, start new)"
            echo "    cleanup:     Remove all containers that have stopped for > 24 hours"
            echo "    start-cmd:   Generate docker command used to start container"
            echo
            echo "Options:"
            echo "    --skip-prereqs             Don't check launcher prerequisites"
            echo "    --docker-args              Extra arguments to pass when running docker"
            echo "    --skip-mac-address         Don't assign a mac address"
            echo "    --run-image                Override the image used for running the container"
            exit 1
          }
          
          # for potential re-exec later
          SAVED_ARGV=("$@")
          
          command=$1
          config=$2

Creo que se verá algo así: ./launcher start app --docker-args "--shm-size=1024m"

Ghan · 23 Diciembre, 2020 13:44

Desafortunadamente, esto no funcionó cuando lo intenté. Creo que tal vez el contenedor necesita ser reconstruido para aumentar el tamaño del espacio de memoria compartida. Tuve que cambiar el valor en las áreas codificadas en el script del lanzador y luego reconstruir el contenedor para que realmente surtiera efecto.

Esto probablemente tampoco persistiría a través de actualizaciones/reconstrucciones; tendrías que cambiarlo manualmente cada vez.

tgxworld · 24 Diciembre, 2020 01:03

¿Qué comandos ejecutaste? Definitivamente tendrás que volver a compilar el contenedor para que la opción --shm-size surta efecto.

Ghan · 24 Diciembre, 2020 02:40

Lo único que hice al principio fue detener el contenedor y luego ejecutar el comando de inicio del lanzador con ese parámetro. Después, edité manualmente los parámetros --shm-size dentro del propio script del lanzador y reconstruí el contenedor. Entonces, el valor se ajustó correctamente. Si anulas el parámetro en la línea de comandos para reconstruir el contenedor, ¿no se perderá el cambio si realizas una actualización o reconstrucción a través de la interfaz /admin/upgrade? Por eso pensé que podría ser mejor convertirlo en un campo en app.yml, así se mantendría a través de reconstrucciones y actualizaciones de código.

tgxworld · 24 Diciembre, 2020 05:46

Hmm, veo que esto podría ser útil. @sam, ¿qué opinas al respecto?

sam · 29 Diciembre, 2020 04:52

Eso nunca reconstruye el contenedor, por lo que es seguro.

¿No tenemos esto ya según:

github.com/discourse/discourse_docker

launcher

0326f200e


      
          local docker_args
          
          docker_args=`cat $config_file | $docker_path run $user_args --rm -i -a stdout -a stdin $image ruby -e \
                  "require 'yaml'; puts YAML.load(STDIN.readlines.join)['docker_args']"`
          
          if [[ -n "$docker_args" ]]; then
            user_args="$user_args_argv $docker_args"
          fi

docker_args: .... en tu yaml.

Ghan · 29 Diciembre, 2020 05:12

No estoy seguro. ¿Eso sobrescribe el propio archivo del launcher? Veo tres lugares donde la opción está codificada de forma rígida:

github.com/discourse/discourse_docker

launcher

0326f200e


      
          $docker_path run --shm-size=512m $links $attach_on_run $restart_policy "${env[@]}" "${labels[@]}" -h "$hostname" \
             -e DOCKER_HOST_IP="$docker_ip" --name $config -t "${ports[@]}" $volumes $mac_address $user_args \
             $run_image $boot_command

github.com/discourse/discourse_docker

launcher

0326f200e


      
          (exec $docker_path run --rm --shm-size=512m $user_args $links "${env[@]}" -e DOCKER_HOST_IP="$docker_ip" -i -a stdin -a stdout -a stderr $volumes $run_image \
            /bin/bash -c "$run_command") || ERR=$?

github.com/discourse/discourse_docker

launcher

0326f200e


      
          (exec cat "$tmp_input_file" | $docker_path run --shm-size=512m $user_args $links "${env[@]}" -e DOCKER_HOST_IP="$docker_ip" --cidfile $cidbootstrap -i -a stdin -a stdout -a stderr $volumes $image \
            /bin/bash -c "$run_command") || ERR=$?

sam · 29 Diciembre, 2020 05:17

Entonces deberíamos solucionarlo, pero la corrección es un script de bash muy, muy complicado. Si quieres, puedes intentarlo.

Nuestra función de obtención de argumentos de Docker debería encargarse de shm-size, gestionar las anulaciones del usuario y establecer un valor predeterminado.

neounix · 29 Diciembre, 2020 05:39

Hola @Ghan

Mientras tanto (con fines de prueba, consulta la advertencia a continuación), puedes cambiar esto directamente con Docker después de que se haya creado el contenedor, de la siguiente manera:

Edita directamente el archivo /var/lib/docker/containers/$CONTAINER_ID/hostconfig.json.
Por ejemplo, cambia el valor de ShmSize en el archivo anterior.
Detén y reinicia el contenedor.

En nuestro archivo hostconfig del contenedor Docker, se ve así:

"ShmSize":536870912,

Espero que esto ayude (HTH).

Advertencia: Algunas personas han publicado que debes asegurarte de que el servicio de Docker esté detenido antes de modificar hostconfig.json (de lo contrario, los cambios se sobrescribirán). Sin embargo, no he probado esto personalmente. Obviamente, una solución launcher es mejor

markersocial · 29 Noviembre, 2024 17:42

¿Alguien sabe cuál es la solución actual para aumentar shm_size?

Editar: Parece que todavía está codificado.

Hilo relevante:

Tema		Respuestas	Vistas
PG throws could not resize shared memory segment error Self-hosting	6	27216	8 Junio 2024
Can't increase db_shared_buffers (0.1% of total ram) and db_work_mem (0.03% of total ram) Support	4	163	5 Diciembre 2024
Followed github guide, vps. help me apply ram/vcpu limits Self-hosting server-resources	2	114	29 Septiembre 2025
Change attachment size limit without rebuilding? Self-hosting	2	422	2 Mayo 2023
Stuck in a loop of freeing up space and filling it up again when rebuilding Self-hosting server-resources	33	3887	8 Junio 2024

Opción shm_size de Docker en app.yml

Temas relacionados