Docker shm_size Option in app.yml

Ghan · 23. Dezember 2020 um 02:32

Wäre es möglich, den Parameter shm_size als Option in der app.yml zu konfigurieren? Ich bin heute auf diesen Fehler gestoßen, als ich versuchte, einen vacuum analyze durchzuführen:

ERROR: could not resize shared memory segment

Es wurde versucht, die Nutzung des gemeinsam genutzten Speichers auf 1 GB zu erhöhen, was fehlgeschlagen ist, da standardmäßig nur 512 MB zur Verfügung stehen. Dieser Parameter scheint im Startskript enthalten zu sein, aber es wäre wünschenswert, dies als Option (möglicherweise standardmäßig auskommentiert) in der .yml-Datei verfügbar zu machen.

tgxworld · 23. Dezember 2020 um 04:01

Sie können benutzerdefinierte Docker-Argumente mit --docker-args übergeben, um die von uns bereitgestellten Standardwerte zu überschreiben.

github.com/discourse/discourse_docker

launcher

master


      
            echo "    enter:       Open a shell to run commands inside the container"
            echo "    logs:        View the Docker logs for a container"
            echo "    bootstrap:   Bootstrap a container for the config based on a template"
            echo "    run:         Run the given command with the config in the context of the last bootstrapped image"
            echo "    rebuild:     Rebuild a container (destroy old, bootstrap, start new)"
            echo "    cleanup:     Remove all containers that have stopped for > 24 hours"
            echo "    start-cmd:   Generate docker command used to start container"
            echo
            echo "Options:"
            echo "    --skip-prereqs             Don't check launcher prerequisites"
            echo "    --docker-args              Extra arguments to pass when running docker"
            echo "    --skip-mac-address         Don't assign a mac address"
            echo "    --run-image                Override the image used for running the container"
            exit 1
          }
          
          # for potential re-exec later
          SAVED_ARGV=("$@")
          
          command=$1
          config=$2

Ich vermute, es sieht dann etwa so aus: ./launcher start app --docker-args "--shm-size=1024m"

Ghan · 23. Dezember 2020 um 13:44

Das hat leider nicht funktioniert, als ich es versucht habe. Ich denke, vielleicht muss der Container neu erstellt werden, um den Speicherplatz für den gemeinsam genutzten Speicher zu vergrößern? Ich musste den Wert in den fest codierten Bereichen des Startskripts ändern und dann den Container neu erstellen, damit die Änderung tatsächlich wirksam wurde.

Dies würde wahrscheinlich auch bei Updates/Neuerstellungen nicht erhalten bleiben – Sie müssten es jedes Mal manuell ändern.

tgxworld · 24. Dezember 2020 um 01:03

Welche Befehle hast du ausgeführt? Du musst den Container auf jeden Fall neu erstellen, damit die Option --shm-size wirksam wird.

Ghan · 24. Dezember 2020 um 02:40

Zuerst habe ich nur den Container gestoppt und dann den Startbefehl des Launchers mit diesem Parameter ausgeführt. Anschließend habe ich die Parameter --shm-size im Launcher-Skript selbst manuell bearbeitet und den Container neu erstellt. Danach wurde der Wert korrekt angepasst. Wenn du den Parameter bei der Neukompilierung des Containers über die Befehlszeile überschreibst, geht die Änderung dann nicht verloren, wenn du ein Update/Neuerstellen über die Schnittstelle /admin/upgrade durchführst? Deshalb dachte ich, es wäre am besten, dies als Feld in app.yml zu definieren – dann würde es auch bei Neukompilierungen und Code-Updates bestehen bleiben.

tgxworld · 24. Dezember 2020 um 05:46

Hmm, das könnte tatsächlich nützlich sein. @sam, was denkst du dazu?

sam · 29. Dezember 2020 um 04:52

Das rebuilt den Container jedoch nicht, also ist es sicher.

Haben wir das nicht bereits gemäß:

github.com/discourse/discourse_docker

launcher

0326f200e


      
          local docker_args
          
          docker_args=`cat $config_file | $docker_path run $user_args --rm -i -a stdout -a stdin $image ruby -e \
                  "require 'yaml'; puts YAML.load(STDIN.readlines.join)['docker_args']"`
          
          if [[ -n "$docker_args" ]]; then
            user_args="$user_args_argv $docker_args"
          fi

docker_args: .... in deiner YAML-Datei.

Ghan · 29. Dezember 2020 um 05:12

Ich bin mir nicht sicher. Überschreibt das die Launcher-Datei selbst? Ich sehe drei Stellen, an denen die Option hart codiert ist:

github.com/discourse/discourse_docker

launcher

0326f200e


      
          $docker_path run --shm-size=512m $links $attach_on_run $restart_policy "${env[@]}" "${labels[@]}" -h "$hostname" \
             -e DOCKER_HOST_IP="$docker_ip" --name $config -t "${ports[@]}" $volumes $mac_address $user_args \
             $run_image $boot_command

github.com/discourse/discourse_docker

launcher

0326f200e


      
          (exec $docker_path run --rm --shm-size=512m $user_args $links "${env[@]}" -e DOCKER_HOST_IP="$docker_ip" -i -a stdin -a stdout -a stderr $volumes $run_image \
            /bin/bash -c "$run_command") || ERR=$?

github.com/discourse/discourse_docker

launcher

0326f200e


      
          (exec cat "$tmp_input_file" | $docker_path run --shm-size=512m $user_args $links "${env[@]}" -e DOCKER_HOST_IP="$docker_ip" --cidfile $cidbootstrap -i -a stdin -a stdout -a stderr $volumes $image \
            /bin/bash -c "$run_command") || ERR=$?

sam · 29. Dezember 2020 um 05:17

Dann sollten wir das beheben, aber die Lösung ist ein sehr, sehr komplexes Bash-Skript. Probieren Sie es gerne selbst aus.

Unsere Funktion zum Abrufen der Docker-Argumente sollte für die shm-Größe zuständig sein, Benutzer-Überschreibungen handhaben und einen Standardwert festlegen.

neounix · 29. Dezember 2020 um 05:39

Hey @Ghan

In der Zwischenzeit (zu Testzwecken, siehe Einschränkung unten) kannst du dies direkt nach dem Erstellen des Containers mit Docker wie folgt ändern:

Bearbeite die Datei /var/lib/docker/containers/$CONTAINER_ID/hostconfig.json direkt.
Ändere beispielsweise den Wert für ShmSize in der oben genannten Datei.
Stoppe den Container und starte ihn neu.

In unserer Docker-Container-Hostconfig-Datei sieht das so aus:

"ShmSize":536870912,

Hoffentlich hilft das (HTH).

Einschränkung: Einige Benutzer haben geschrieben, dass du sicherstellen musst, dass der Docker-Dienst gestoppt ist, bevor du hostconfig.json änderst (sonst werden die Änderungen überschrieben). Ich habe dies jedoch nicht selbst getestet. Offensichtlich ist eine launcher-Lösung besser

markersocial · 29. November 2024 um 17:42

Weiß jemand, was die aktuelle Lösung zur Erhöhung der shm_size ist?

Bearbeiten: Es scheint, dass sie immer noch fest codiert ist.

Relevanter Thread:

Thema		Antworten	Aufrufe
PG throws could not resize shared memory segment error Self-hosting	6	27216	8. Juni 2024
Can't increase db_shared_buffers (0.1% of total ram) and db_work_mem (0.03% of total ram) Support	4	163	5. Dezember 2024
Followed github guide, vps. help me apply ram/vcpu limits Self-hosting server-resources	2	114	29. September 2025
Change attachment size limit without rebuilding? Self-hosting	2	422	2. Mai 2023
Stuck in a loop of freeing up space and filling it up again when rebuilding Self-hosting server-resources	33	3885	8. Juni 2024

Docker shm_size Option in app.yml

Verwandte Themen