Opção shm_size do Docker em app.yml

Ghan · Dezembro 23, 2020, 2:32am

Seria possível tornar o parâmetro shm_size uma opção no app.yml? Enfrentei este erro hoje ao tentar executar um vacuum analyze:

ERROR: could not resize shared memory segment

O sistema tentava aumentar o uso de memória compartilhada para 1 GB, mas falhou, pois o padrão é de apenas 512 MB. Este parâmetro parece estar no script do lançador, mas seria bom tê-lo como uma opção (possivelmente comentado por padrão) no arquivo .yml.

tgxworld · Dezembro 23, 2020, 4:01am

Você pode passar argumentos personalizados do Docker para substituir os padrões que fornecemos com --docker-args.

github.com/discourse/discourse_docker

launcher

master


      
            echo "    enter:       Open a shell to run commands inside the container"
            echo "    logs:        View the Docker logs for a container"
            echo "    bootstrap:   Bootstrap a container for the config based on a template"
            echo "    run:         Run the given command with the config in the context of the last bootstrapped image"
            echo "    rebuild:     Rebuild a container (destroy old, bootstrap, start new)"
            echo "    cleanup:     Remove all containers that have stopped for > 24 hours"
            echo "    start-cmd:   Generate docker command used to start container"
            echo
            echo "Options:"
            echo "    --skip-prereqs             Don't check launcher prerequisites"
            echo "    --docker-args              Extra arguments to pass when running docker"
            echo "    --skip-mac-address         Don't assign a mac address"
            echo "    --run-image                Override the image used for running the container"
            exit 1
          }
          
          # for potential re-exec later
          SAVED_ARGV=("$@")
          
          command=$1
          config=$2

Acredito que ficará algo como ./launcher start app --docker-args "--shm-size=1024m".

Ghan · Dezembro 23, 2020, 1:44pm

Isso não funcionou quando tentei, infelizmente. Acredito que talvez o contêiner precise ser recriado para aumentar o tamanho do espaço de memória compartilhada? Tive que alterar o valor nas áreas com código fixo no script de inicialização e depois recriar o contêiner para que isso realmente surtisse efeito.

Isso provavelmente não persistiria em atualizações/recriações também — você teria que alterá-lo manualmente toda vez.

tgxworld · Dezembro 24, 2020, 1:03am

Quais comandos você executou? Você definitivamente terá que reconstruir o contêiner para que a opção --shm-size tenha efeito.

Ghan · Dezembro 24, 2020, 2:40am

No início, eu apenas parei o contêiner e depois executei o comando de inicialização do launcher com aquele parâmetro. Em seguida, editei manualmente os parâmetros --shm-size dentro do próprio script do launcher e reconstruí o contêiner. Depois disso, o valor foi ajustado corretamente. Se você substituir o parâmetro na linha de comando para reconstruir o contêiner, a alteração não será perdida se você realizar uma atualização/reconstrução pela interface /admin/upgrade? É por isso que achei que seria melhor torná-lo um campo no app.yml — assim, ele persistiria nas reconstruções e atualizações de código.

tgxworld · Dezembro 24, 2020, 5:46am

Hmm, consigo ver que isso seria útil. @sam, o que você acha disso?

sam · Dezembro 29, 2020, 4:52am

Isso nunca reconstrói o contêiner, então é seguro.

Já não temos isso conforme:

github.com/discourse/discourse_docker

launcher

0326f200e


      
          local docker_args
          
          docker_args=`cat $config_file | $docker_path run $user_args --rm -i -a stdout -a stdin $image ruby -e \
                  "require 'yaml'; puts YAML.load(STDIN.readlines.join)['docker_args']"`
          
          if [[ -n "$docker_args" ]]; then
            user_args="$user_args_argv $docker_args"
          fi

docker_args: .... no seu yaml.

Ghan · Dezembro 29, 2020, 5:12am

Não tenho certeza. Isso sobrescreve o próprio arquivo do launcher? Vejo 3 locais onde a opção está codificada manualmente:

github.com/discourse/discourse_docker

launcher

0326f200e


      
          $docker_path run --shm-size=512m $links $attach_on_run $restart_policy "${env[@]}" "${labels[@]}" -h "$hostname" \
             -e DOCKER_HOST_IP="$docker_ip" --name $config -t "${ports[@]}" $volumes $mac_address $user_args \
             $run_image $boot_command

github.com/discourse/discourse_docker

launcher

0326f200e


      
          (exec $docker_path run --rm --shm-size=512m $user_args $links "${env[@]}" -e DOCKER_HOST_IP="$docker_ip" -i -a stdin -a stdout -a stderr $volumes $run_image \
            /bin/bash -c "$run_command") || ERR=$?

github.com/discourse/discourse_docker

launcher

0326f200e


      
          (exec cat "$tmp_input_file" | $docker_path run --shm-size=512m $user_args $links "${env[@]}" -e DOCKER_HOST_IP="$docker_ip" --cidfile $cidbootstrap -i -a stdin -a stdout -a stderr $volumes $image \
            /bin/bash -c "$run_command") || ERR=$?

sam · Dezembro 29, 2020, 5:17am

Devemos corrigir isso então, mas a correção é um script bash muito, muito complicado. Sinta-se à vontade para tentar.

Nossa função de obtenção de argumentos do Docker deve ser responsável pelo shm-size. Gerenciar as substituições do usuário e definir um valor padrão.

neounix · Dezembro 29, 2020, 5:39am

Olá @Ghan

Enquanto isso (para fins de teste, veja a ressalva abaixo), você pode alterar isso diretamente com o docker após a construção do container, da seguinte forma:

Edite diretamente o arquivo /var/lib/docker/containers/$CONTAINER_ID/hostconfig.json.
Por exemplo, altere o valor de ShmSize no arquivo acima.
Pare e reinicie o container.

No nosso arquivo hostconfig do container docker, ele se parece com isto:

"ShmSize":536870912,

Espero que ajude (HTH).

Ressalva: Algumas pessoas postaram que você deve garantir que o serviço do docker esteja parado antes de modificar o hostconfig.json (ou as alterações serão sobrescritas). No entanto, eu não testei isso na prática. Obviamente, uma solução launcher é melhor

markersocial · Novembro 29, 2024, 5:42pm

Alguém sabe qual é a solução atual para aumentar o shm_size?

Editar: Parece que ainda está codificado.

Tópico relevante:

Tópico		Respostas	Visualizações
PG throws could not resize shared memory segment error Self-hosting	6	27216	8 de Junho de 2024
Can't increase db_shared_buffers (0.1% of total ram) and db_work_mem (0.03% of total ram) Support	4	163	5 de Dezembro de 2024
Followed github guide, vps. help me apply ram/vcpu limits Self-hosting server-resources	2	114	29 de Setembro de 2025
Change attachment size limit without rebuilding? Self-hosting	2	422	2 de Maio de 2023
Stuck in a loop of freeing up space and filling it up again when rebuilding Self-hosting server-resources	33	3887	8 de Junho de 2024

Opção shm_size do Docker em app.yml

Tópicos relacionados