Opzione shm_size di Docker in app.yml

Ghan · 23 Dicembre 2020, 2:32am

Sarebbe possibile rendere il parametro shm_size un’opzione in app.yml? Oggi ho riscontrato questo errore durante l’esecuzione di vacuum analyze:

ERROR: could not resize shared memory segment

Il sistema stava tentando di aumentare l’utilizzo della memoria condivisa a 1 GB, ma ha fallito, poiché di default è impostata a 512 MB. Questo parametro sembra essere presente nello script di avvio, ma potrebbe essere utile averlo come opzione (eventualmente commentata di default) nel file .yml.

tgxworld · 23 Dicembre 2020, 4:01am

Puoi passare argomenti Docker personalizzati per sovrascrivere quelli predefiniti che forniamo utilizzando --docker-args.

github.com/discourse/discourse_docker

launcher

master


      
            echo "    enter:       Open a shell to run commands inside the container"
            echo "    logs:        View the Docker logs for a container"
            echo "    bootstrap:   Bootstrap a container for the config based on a template"
            echo "    run:         Run the given command with the config in the context of the last bootstrapped image"
            echo "    rebuild:     Rebuild a container (destroy old, bootstrap, start new)"
            echo "    cleanup:     Remove all containers that have stopped for > 24 hours"
            echo "    start-cmd:   Generate docker command used to start container"
            echo
            echo "Options:"
            echo "    --skip-prereqs             Don't check launcher prerequisites"
            echo "    --docker-args              Extra arguments to pass when running docker"
            echo "    --skip-mac-address         Don't assign a mac address"
            echo "    --run-image                Override the image used for running the container"
            exit 1
          }
          
          # for potential re-exec later
          SAVED_ARGV=("$@")
          
          command=$1
          config=$2

Credo che assomiglierà a qualcosa del genere: ./launcher start app --docker-args "--shm-size=1024m"

Ghan · 23 Dicembre 2020, 1:44pm

Purtroppo non ha funzionato quando l’ho provato. Penso che forse il contenitore debba essere ricostruito per aumentare la dimensione dello spazio di memoria condivisa? Ho dovuto modificare il valore nelle aree hard-coded nello script di avvio e poi ricostruire il contenitore perché avesse effettivamente effetto.

Questo probabilmente non sarebbe persistito tra aggiornamenti o ricostruzioni: dovresti modificarlo manualmente ogni volta.

tgxworld · 24 Dicembre 2020, 1:03am

Quali comandi hai eseguito? Dovrai sicuramente ricostruire il container affinché l’opzione --shm-size abbia effetto.

Ghan · 24 Dicembre 2020, 2:40am

All’inizio ho solo fermato il contenitore, quindi ho eseguito il comando di avvio del launcher con quel parametro. Poi ho modificato manualmente i parametri --shm-size all’interno dello script del launcher stesso e ho ricostruito il contenitore. A quel punto il valore è stato corretto. Se sovrascrivi il parametro sulla riga di comando per ricostruire il contenitore, non perderesti la modifica se esegui un aggiornamento/ricostruzione tramite l’interfaccia /admin/upgrade? Per questo pensavo che potrebbe essere meglio renderlo un campo in app.yml, così rimarrebbe persistente durante le ricostruzioni e gli aggiornamenti del codice.

tgxworld · 24 Dicembre 2020, 5:46am

Hmm, capisco che potrebbe essere utile. @sam, cosa ne pensi?

sam · 29 Dicembre 2020, 4:52am

Tuttavia, questo non ricompila mai il container, quindi è sicuro.

Non abbiamo già questa funzionalità, come da:

github.com/discourse/discourse_docker

launcher

0326f200e


      
          local docker_args
          
          docker_args=`cat $config_file | $docker_path run $user_args --rm -i -a stdout -a stdin $image ruby -e \
                  "require 'yaml'; puts YAML.load(STDIN.readlines.join)['docker_args']"`
          
          if [[ -n "$docker_args" ]]; then
            user_args="$user_args_argv $docker_args"
          fi

docker_args: .... nel tuo file yaml.

Ghan · 29 Dicembre 2020, 5:12am

Non sono sicuro. Questo sovrascrive il file del launcher stesso? Vedo tre posizioni in cui l’opzione è hardcodata:

github.com/discourse/discourse_docker

launcher

0326f200e


      
          $docker_path run --shm-size=512m $links $attach_on_run $restart_policy "${env[@]}" "${labels[@]}" -h "$hostname" \
             -e DOCKER_HOST_IP="$docker_ip" --name $config -t "${ports[@]}" $volumes $mac_address $user_args \
             $run_image $boot_command

github.com/discourse/discourse_docker

launcher

0326f200e


      
          (exec $docker_path run --rm --shm-size=512m $user_args $links "${env[@]}" -e DOCKER_HOST_IP="$docker_ip" -i -a stdin -a stdout -a stderr $volumes $run_image \
            /bin/bash -c "$run_command") || ERR=$?

github.com/discourse/discourse_docker

launcher

0326f200e


      
          (exec cat "$tmp_input_file" | $docker_path run --shm-size=512m $user_args $links "${env[@]}" -e DOCKER_HOST_IP="$docker_ip" --cidfile $cidbootstrap -i -a stdin -a stdout -a stderr $volumes $image \
            /bin/bash -c "$run_command") || ERR=$?

sam · 29 Dicembre 2020, 5:17am

Dovremmo quindi risolvere il problema, ma la correzione richiede uno script bash molto, molto complesso. Sentiti libero di provarci.

La nostra funzione per ottenere gli argomenti Docker dovrebbe essere responsabile della gestione di shm-size, degli override dell’utente e dell’impostazione di un valore predefinito.

neounix · 29 Dicembre 2020, 5:39am

Ciao @Ghan

Nel frattempo (a scopo di test, vedi avvertenza sotto), puoi modificare questo valore direttamente con Docker dopo la creazione del container, come segue:

Modifica direttamente il file /var/lib/docker/containers/$CONTAINER_ID/hostconfig.json.
Ad esempio, modifica il valore di ShmSize nel file sopra.
Arresta e riavvia il container.

Nel file hostconfig del nostro container Docker, appare così:

"ShmSize":536870912,

Spero sia utile.

Avvertenza: Alcuni utenti hanno segnalato che è necessario arrestare il servizio Docker prima di modificare hostconfig.json (altrimenti le modifiche verranno sovrascritte). Tuttavia, non ho testato personalmente questa situazione. Ovviamente, una soluzione launcher è migliore

markersocial · 29 Novembre 2024, 5:42pm

Qualcuno sa qual è la soluzione attuale per aumentare shm_size?

Modifica: Sembra che sia ancora codificato in modo fisso.

Thread pertinente:

Argomento		Risposte	Visualizzazioni
PG throws could not resize shared memory segment error Self-hosting	6	27243	Giugno 8, 2024
Can't increase db_shared_buffers (0.1% of total ram) and db_work_mem (0.03% of total ram) Support	4	178	Dicembre 5, 2024
Followed github guide, vps. help me apply ram/vcpu limits Self-hosting server-resources	2	122	Settembre 29, 2025
Change attachment size limit without rebuilding? Self-hosting	2	423	Maggio 2, 2023
Stuck in a loop of freeing up space and filling it up again when rebuilding Self-hosting server-resources	33	3894	Giugno 8, 2024

Opzione shm_size di Docker in app.yml

Argomenti correlati