Option shm_size de Docker dans app.yml

Ghan · Décembre 23, 2020, 2:32

Serait-il possible de rendre le paramètre shm_size optionnel dans app.yml ? J’ai rencontré cette erreur aujourd’hui en essayant d’exécuter une commande vacuum analyze :

ERROR: could not resize shared memory segment

Il tentait d’augmenter l’utilisation de la mémoire partagée à 1 Go, mais a échoué, car elle est limitée à 512 Mo par défaut. Ce paramètre semble être défini dans le script de démarrage, mais il serait peut-être utile de l’ajouter comme option (éventuellement commentée par défaut) dans le fichier .yml.

tgxworld · Décembre 23, 2020, 4:01

Vous pouvez transmettre des arguments Docker personnalisés pour remplacer ceux que nous fournissons par défaut en utilisant l’option --docker-args.

github.com/discourse/discourse_docker

launcher

master


      
            echo "    enter:       Open a shell to run commands inside the container"
            echo "    logs:        View the Docker logs for a container"
            echo "    bootstrap:   Bootstrap a container for the config based on a template"
            echo "    run:         Run the given command with the config in the context of the last bootstrapped image"
            echo "    rebuild:     Rebuild a container (destroy old, bootstrap, start new)"
            echo "    cleanup:     Remove all containers that have stopped for > 24 hours"
            echo "    start-cmd:   Generate docker command used to start container"
            echo
            echo "Options:"
            echo "    --skip-prereqs             Don't check launcher prerequisites"
            echo "    --docker-args              Extra arguments to pass when running docker"
            echo "    --skip-mac-address         Don't assign a mac address"
            echo "    --run-image                Override the image used for running the container"
            exit 1
          }
          
          # for potential re-exec later
          SAVED_ARGV=("$@")
          
          command=$1
          config=$2

Je pense que cela ressemblera à quelque chose comme ./launcher start app --docker-args "--shm-size=1024m".

Ghan · Décembre 23, 2020, 1:44

Cela n’a malheureusement pas fonctionné lorsque je l’ai essayé. Je pense que le conteneur doit peut-être être reconstruit pour augmenter la taille de l’espace mémoire partagé ? J’ai dû modifier la valeur dans les zones codées en dur du script de lancement, puis reconstruire le conteneur pour que cela prenne réellement effet.

Cela ne persisterait probablement pas non plus lors des mises à jour/reconstructions – vous devriez le modifier manuellement à chaque fois.

tgxworld · Décembre 24, 2020, 1:03

Quelles commandes avez-vous exécutées ? Vous devrez absolument reconstruire le conteneur pour que l’option --shm-size prenne effet.

Ghan · Décembre 24, 2020, 2:40

Au début, je me suis contenté d’arrêter le conteneur, puis d’exécuter la commande de démarrage du lanceur avec ce paramètre. Ensuite, j’ai modifié manuellement les paramètres --shm-size directement dans le script du lanceur et reconstruit le conteneur. La valeur a alors été ajustée correctement. Si vous écrasez le paramètre en ligne de commande pour reconstruire le conteneur, la modification ne sera-t-elle pas perdue si vous effectuez une mise à jour ou une reconstruction via l’interface /admin/upgrade ? C’est pourquoi j’ai pensé qu’il serait préférable de le définir comme un champ dans app.yml : ainsi, il persisterait lors des reconstructions et des mises à jour du code.

tgxworld · Décembre 24, 2020, 5:46

Hmm, je vois que cela pourrait être utile. @sam, qu’en penses-tu ?

sam · Décembre 29, 2020, 4:52

Cela ne reconstruit jamais le conteneur, donc c’est sans risque.

N’avons-nous pas déjà cela, selon :

github.com/discourse/discourse_docker

launcher

0326f200e


      
          local docker_args
          
          docker_args=`cat $config_file | $docker_path run $user_args --rm -i -a stdout -a stdin $image ruby -e \
                  "require 'yaml'; puts YAML.load(STDIN.readlines.join)['docker_args']"`
          
          if [[ -n "$docker_args" ]]; then
            user_args="$user_args_argv $docker_args"
          fi

docker_args: .... dans votre fichier yaml.

Ghan · Décembre 29, 2020, 5:12

Je ne suis pas sûr. Est-ce que cela écrase le fichier du lanceur lui-même ? Je vois trois endroits où l’option est codée en dur :

github.com/discourse/discourse_docker

launcher

0326f200e


      
          $docker_path run --shm-size=512m $links $attach_on_run $restart_policy "${env[@]}" "${labels[@]}" -h "$hostname" \
             -e DOCKER_HOST_IP="$docker_ip" --name $config -t "${ports[@]}" $volumes $mac_address $user_args \
             $run_image $boot_command

github.com/discourse/discourse_docker

launcher

0326f200e


      
          (exec $docker_path run --rm --shm-size=512m $user_args $links "${env[@]}" -e DOCKER_HOST_IP="$docker_ip" -i -a stdin -a stdout -a stderr $volumes $run_image \
            /bin/bash -c "$run_command") || ERR=$?

github.com/discourse/discourse_docker

launcher

0326f200e


      
          (exec cat "$tmp_input_file" | $docker_path run --shm-size=512m $user_args $links "${env[@]}" -e DOCKER_HOST_IP="$docker_ip" --cidfile $cidbootstrap -i -a stdin -a stdout -a stderr $volumes $image \
            /bin/bash -c "$run_command") || ERR=$?

sam · Décembre 29, 2020, 5:17

Nous devrions donc corriger cela, mais la correction consiste en un script bash très très complexe. N’hésitez pas à essayer.

Notre fonction d’obtention des arguments Docker devrait être responsable de la taille shm-size. Elle doit gérer les remplacements par l’utilisateur et définir une valeur par défaut.

neounix · Décembre 29, 2020, 5:39

Salut @Ghan,

En attendant (à des fins de test, voir la mise en garde ci-dessous), vous pouvez modifier cela directement avec Docker une fois le conteneur construit, comme suit :

Éditez directement le fichier /var/lib/docker/containers/$CONTAINER_ID/hostconfig.json.
Par exemple, modifiez la valeur de ShmSize dans le fichier ci-dessus.
Arrêtez et redémarrez le conteneur.

Dans le fichier hostconfig de notre conteneur Docker, cela ressemble à ceci :

"ShmSize":536870912,

J’espère que cela vous aide.

Mise en garde : Certaines personnes ont signalé qu’il faut s’assurer que le service Docker est arrêté avant de modifier hostconfig.json (sinon les modifications seront écrasées). Cependant, je n’ai pas réellement testé cela. Évidemment, une solution launcher est préférable

markersocial · Novembre 29, 2024, 5:42

Quelqu’un sait quelle est la solution actuelle pour augmenter shm_size ?

Mise à jour : Il semble que ce soit toujours codé en dur.

Fil pertinent :

Sujet		Réponses	Vues
PG throws could not resize shared memory segment error Self-hosting	6	27216	Juin 8, 2024
Can't increase db_shared_buffers (0.1% of total ram) and db_work_mem (0.03% of total ram) Support	4	163	Décembre 5, 2024
Followed github guide, vps. help me apply ram/vcpu limits Self-hosting server-resources	2	114	Septembre 29, 2025
Change attachment size limit without rebuilding? Self-hosting	2	422	Mai 2, 2023
Stuck in a loop of freeing up space and filling it up again when rebuilding Self-hosting server-resources	33	3887	Juin 8, 2024

Option shm_size de Docker dans app.yml

Sujets connexes