Docker app.ymlのshm_sizeオプション

Ghan · 2020 年 12 月 23 日午前 2:32

app.yml で shm_size パラメータをオプションとして追加することは可能でしょうか？本日、vacuum analyze を実行しようとした際に以下のエラーが発生しました。

ERROR: could not resize shared memory segment

これは共有メモリ使用量を 1 GB に増やそうとして失敗したもので、デフォルトでは 512 MB しか割り当てられていませんでした。このパラメータは起動スクリプトに含まれているようですが、.yml ファイルでオプションとして設定可能にすること（デフォルトではコメントアウトしておくなど）ができればと思います。

tgxworld · 2020 年 12 月 23 日午前 4:01

デフォルトで提供する Docker の引数を上書きするには、--docker-args を使用してカスタム引数を渡すことができます。

github.com/discourse/discourse_docker

launcher

master


      
            echo "    enter:       Open a shell to run commands inside the container"
            echo "    logs:        View the Docker logs for a container"
            echo "    bootstrap:   Bootstrap a container for the config based on a template"
            echo "    run:         Run the given command with the config in the context of the last bootstrapped image"
            echo "    rebuild:     Rebuild a container (destroy old, bootstrap, start new)"
            echo "    cleanup:     Remove all containers that have stopped for > 24 hours"
            echo "    start-cmd:   Generate docker command used to start container"
            echo
            echo "Options:"
            echo "    --skip-prereqs             Don't check launcher prerequisites"
            echo "    --docker-args              Extra arguments to pass when running docker"
            echo "    --skip-mac-address         Don't assign a mac address"
            echo "    --run-image                Override the image used for running the container"
            exit 1
          }
          
          # for potential re-exec later
          SAVED_ARGV=("$@")
          
          command=$1
          config=$2

具体的には、以下のようなコマンドになるはずです。
./launcher start app --docker-args "--shm-size=1024m"

Ghan · 2020 年 12 月 23 日午後 1:44

残念ながら、試したところうまくいきませんでした。おそらく、共有メモリのサイズを増やすためにコンテナを再構築する必要があるのでしょう。実際に反映させるには、ランチャースクリプト内のハードコードされた部分の値を変更し、その後コンテナを再構築する必要がありました。

また、この設定はアップデートや再構築の際に維持されない可能性が高いです。毎回手動で変更する必要があるでしょう。

tgxworld · 2020 年 12 月 24 日午前 1:03

どのコマンドを実行しましたか？--shm-size オプションを有効にするには、コンテナの再ビルドが必ず必要です。

Ghan · 2020 年 12 月 24 日午前 2:40

最初はコンテナを停止し、そのパラメータ付きでランチャーの起動コマンドを実行しました。その後、ランチャースクリプト内で --shm-size パラメータを手動で編集し、コンテナを再構築しました。すると、値が正しく調整されました。もしコマンドラインでパラメータを上書きしてコンテナを再構築する場合、/admin/upgrade インターフェースを通じて更新や再構築を行った際にその変更が失われてしまわないでしょうか？そのため、これを app.yml のフィールドとして定義するのが最も良い方法だと考えました。そうすれば、再構築やコードの更新を通じて設定が保持されるからです。

tgxworld · 2020 年 12 月 24 日午前 5:46

なるほど、これは確かに役立ちそうだね。@sam、どう思う？

sam · 2020 年 12 月 29 日午前 4:52

ただし、これでコンテナは再構築されないため、安全です。

すでに以下の通り用意されていませんか：

github.com/discourse/discourse_docker

launcher

0326f200e


      
          local docker_args
          
          docker_args=`cat $config_file | $docker_path run $user_args --rm -i -a stdout -a stdin $image ruby -e \
                  "require 'yaml'; puts YAML.load(STDIN.readlines.join)['docker_args']"`
          
          if [[ -n "$docker_args" ]]; then
            user_args="$user_args_argv $docker_args"
          fi

yaml 内の docker_args: ....

Ghan · 2020 年 12 月 29 日午前 5:12

わかりません。それ自体がランチャーファイルを上書きするのでしょうか？オプションがハードコードされている3箇所を確認しました。

github.com/discourse/discourse_docker

launcher

0326f200e


      
          $docker_path run --shm-size=512m $links $attach_on_run $restart_policy "${env[@]}" "${labels[@]}" -h "$hostname" \
             -e DOCKER_HOST_IP="$docker_ip" --name $config -t "${ports[@]}" $volumes $mac_address $user_args \
             $run_image $boot_command

github.com/discourse/discourse_docker

launcher

0326f200e


      
          (exec $docker_path run --rm --shm-size=512m $user_args $links "${env[@]}" -e DOCKER_HOST_IP="$docker_ip" -i -a stdin -a stdout -a stderr $volumes $run_image \
            /bin/bash -c "$run_command") || ERR=$?

github.com/discourse/discourse_docker

launcher

0326f200e


      
          (exec cat "$tmp_input_file" | $docker_path run --shm-size=512m $user_args $links "${env[@]}" -e DOCKER_HOST_IP="$docker_ip" --cidfile $cidbootstrap -i -a stdin -a stdout -a stderr $volumes $image \
            /bin/bash -c "$run_command") || ERR=$?

sam · 2020 年 12 月 29 日午前 5:17

これは修正すべきですが、修正には非常に複雑なバッシュスクリプトが必要です。ぜひ試してみてください。

当社の Docker 引数取得関数は、shm-size の管理、ユーザーによる上書きの処理、およびデフォルト値の設定を担当する必要があります。

neounix · 2020 年 12 月 29 日午前 5:39

@Ghan さん、こんにちは

当面の間（テスト目的であり、以下の注意点を参照のこと）、コンテナがビルドされた後、Docker を介して直接変更することができます。手順は以下の通りです：

/var/lib/docker/containers/$CONTAINER_ID/hostconfig.json ファイルを直接編集します。
例えば、上記のファイル内の ShmSize の値を変更します。
コンテナを停止し、再起動します。

Docker コンテナの hostconfig ファイルでは、以下のように表示されます：

"ShmSize":536870912,

参考になれば幸いです。

注意点：hostconfig.json を変更する前に Docker サービスを停止する必要があると報告している人もいます（変更が上書きされるのを防ぐため）。ただし、私は実際にこれをテストしていません。明らかに launcher による解決策の方が優れています

markersocial · 2024 年 11 月 29 日午後 5:42

shm_size を増やすための現在の解決策を知っている人はいますか？

編集：まだハードコードされているようです。

トピック		返信	表示
PG throws could not resize shared memory segment error Self-hosting	6	27195	2024 年 6 月 8 日
Can't increase db_shared_buffers (0.1% of total ram) and db_work_mem (0.03% of total ram) Support	4	141	2024 年 12 月 5 日
Followed github guide, vps. help me apply ram/vcpu limits Self-hosting server-resources	2	95	2025 年 9 月 29 日
Change attachment size limit without rebuilding? Self-hosting	2	409	2023 年 5 月 2 日
Stuck in a loop of freeing up space and filling it up again when rebuilding Self-hosting server-resources	33	3847	2024 年 6 月 8 日

Docker app.ymlのshm_sizeオプション

関連トピック