MAXMINDの日次制限を使い切ると、リビルドが常に失敗します。

JammyDodger · 2024 年 7 月 8 日午前 8:11

再ビルドを試しましたが、この時点で失敗しました。

 - dist/javascripts/media-optimization-worker.js: 5.01 kB (1.74 kB gzipped)
 - dist/javascripts/pikaday/1.8.2/pikaday.js: 42.54 kB (9.67 kB gzipped)
 - dist/javascripts/squoosh/mozjpeg_enc.js: 39.03 kB (10.81 kB gzipped)
 - dist/javascripts/squoosh/squoosh_resize.js: 4.53 kB (1.28 kB gzipped)
Done in 355.08s.

I, [2024-07-08T07:59:42.015855 #1]  INFO -- : cd /var/www/discourse & su discourse -c 'SKIP_EMBER_CLI_COMPILE=1 bundle exec rake themes:update assets:precompile'
Purging temp files
Bundling assets
I, [2024-07-08T07:59:57.247206 #1532]  INFO -- : Writing /var/www/discourse/public/assets/break_string-cc617154cd957804f2f6a1f3bc68258c9cdca3d4b9a322bf777d145fed04790e.js
I, [2024-07-08T07:59:57.264957 #1532]  INFO -- : Writing /var/www/discourse/public/assets/service-worker-9764e1cd771b38dbe65a0d1e42d89cb2cb5f72b266ab7316e55d3371cb0ac870.js
I, [2024-07-08T07:59:57.271269 #1532]  INFO -- : Writing /var/www/discourse/public/assets/locales/i18n-3b40e842fd72b9bcc74ea83e094c823cd9ca535e4ecc5e78722e6f99d3656137.js
I, [2024-07-08T07:59:57.277082 #1532]  INFO -- : Writing /var/www/discourse/public/assets/scripts/discourse-test-listen-boot-9b14a0fc65c689577e6a428dcfd680205516fe211700a71c7adb5cbcf4df2cc5.js
I, [2024-07-08T07:59:59.103776 #1532]  INFO -- : Writing /var/www/discourse/public/assets/locales/ar-dfed7a58f30378bc60d7a2cc8d6347524f68b272ae012f0232604f730e442f91.js
I, [2024-07-08T08:00:00.112555 #1532]  INFO -- : Writing /var/www/discourse/public/assets/locales/be-e12ac4c99df2289f422efd371dd3da766754aecb1189ea763fe003376aca9028.js
rake aborted!
Zlib::BufError: buffer error (Zlib::BufError)

kuaza · 2024 年 7 月 8 日午後 2:38

質問があります。S3を使用していますか？私もそう疑っています。

JammyDodger · 2024 年 7 月 8 日午後 3:38

いいえ私にはS3はありません。

Roi · 2024 年 7 月 16 日午後 7:22

毎日制限に達したときにのみ発生するかどうかはわかりませんが、ここでは2〜3か月間常に発生しています。他の人も同様の問題を抱えているようです。

Maxmindファイルをローカルディレクトリから提供するのは良い考えかもしれません。他の用途でもダウンロードしているので、すでにあります。

そして、Discourseコンテナ内の共有ディレクトリにMaxmindファイルを提供して、常に最新バージョンを入手できるようにするのはさらに良いかもしれません。前述したように、とにかくダウンロードして、1日1回ファイルを更新しています。

kuaza · 2024 年 7 月 16 日午後 7:29

問題は制限に関連していないと思います。言い換えると、間違ったキーまたはアカウントIDを入力した場合でもエラーが発生します。ここで問題を解決する方法は次のとおりです。エラーが発生した場合は、古いデータベースを使用し、再構築を続行させます。もちろん、この問題の根本原因を特定することが非常に重要です。

2日前に例を作成しようとしましたが、エラーが発生しました。その日はその日の最初の再構築だったので、制限とは関係ありませんでした。次に、新しいキーを作成して試したところ、機能しました。ここに状況があります。キーを作成すると、アクティブになるまでしばらく時間がかかります。すぐに再作成すると、エラーが発生します。

面白い

Roi · 2024 年 7 月 16 日午後 7:39

まあ、私のキーは古く、使い始めてから一度も変更していません。新しいキーを作成すると機能するのはなぜですか？アクティブになるまで時間がかかると言いましたよね。それならエラーが出るはずですよね？

それは良いアイデアですね。あるいは、私が提案したように、ローカルディレクトリからファイルを提供するという方法もあります。すべてオプションです。しかし、何週間もリビルドが運任せになっているのは本当に腹立たしいです…

tgxworld · 2024 年 7 月 16 日午後 10:38

これはMaxmindの利用規約に違反するため、全員に個別にファイルをダウンロードするためのAPIキーを提供してもらう必要があります。

日次制限に達した場合の問題を確認するために、自分自身を割り当てます。

pfaffman · 2024 年 7 月 17 日午前 12:54

リビルドに失敗し、maxmind設定をオフにしてイメージをビルドしました。その後、コンテナ内で設定を元に戻し、正常にrakeタスクを実行しました。

データベースをダウンロードせずにリビルドし、コンテナ起動時にデータベースをダウンロードするようにすることは可能でしょうか？

また、ダウンロードが失敗した場合でもブートストラップが成功するはずのPRを追加しましたが（マージ済み）、ブートストラップは引き続き失敗しています。

tgxworld · 2024 年 7 月 17 日午前 12:58

はい、その通りだと思います。Maxmindは重要な機能ではないため、ダウンロードできない場合にブートストラップを失敗させる必要はありません。

Roi · 2024 年 7 月 17 日午前 8:15

私の言おうとしたことを理解していただけなかったようです。もう一度説明させてください。

数日おきにMaxmindファイルをダウンロードするスクリプトがあります。もちろん、私自身のAPIキーを使用します。これらのファイルは、AWstatsのウェブ統計やWordPressプラグインなど、サーバー上のさまざまな目的で使用されます。

そのため、どうせマシン上にファイルがあるので、Discourseコンテナを再構築するときにファイルを（再度）ダウンロードする必要があるのでしょうか？

それは素晴らしいアイデアです。

pfaffman · 2024 年 7 月 17 日午後 2:32

ええ。それらを永続ストレージに置くことができると素晴らしいでしょう。特にインスタンス間で共有できるなら。私はTraefikの背後にある同じマシン上にいくつかのDiscourseサイトを持っているので、それらすべてが同じmmdbを共有できれば、たくさんの別々のコピーを保持したりダウンロードしたりする手間が省けます。標準的なインストールであっても、ビルド間で永続化できます。それはすでに可能かもしれませんか？単に /var/www/discourse/vendor/data を永続的な場所にマウントするだけですか？

ああ。それは GlobalSetting.maxmind_backup_path のためのものだと思います。ですから、何らかの理由でmaxminddbを持っている場合、DISCOURSE_MAXMIND_BACKUP_PATH をコンテナで利用可能なものに設定できると思います。

また、mmdbはアセットをプリコンパイルするために必要ですか？

github.com/discourse/discourse

lib/tasks/assets.rake

main


      
          # frozen_string_literal: true
          
          task "assets:precompile:build" do
            if ENV["SKIP_EMBER_CLI_COMPILE"] != "1"
              ember_version = ENV["EMBER_VERSION"] || "5"
          
              raise "Unknown ember version '#{ember_version}'" if !%w[5].include?(ember_version)
          
              compile_command = "EMBER_ENV=production #{Rails.root}/script/assemble_ember_build.rb"
          
              only_ember_precompile_build_remaining = (ARGV.last == "assets:precompile:build")
              only_assets_precompile_remaining = (ARGV.last == "assets:precompile")
          
              # Using exec to free up Rails app memory during ember build
              if only_ember_precompile_build_remaining
                exec "#{compile_command}"
              elsif only_assets_precompile_remaining
                exec "#{compile_command} && SKIP_EMBER_CLI_COMPILE=1 bin/rake assets:precompile"
              else
                system compile_command, exception: true
                EmberCli.clear_cache!
              end
            end
          end
          
          task "assets:precompile:before": %w[environment assets:precompile:build]
          
          task "assets:precompile:css" => "environment" do
            if ENV["DONT_PRECOMPILE_CSS"] == "1" || ENV["SKIP_DB_AND_REDIS"] == "1"
              STDERR.puts "Skipping CSS precompilation, ensure CSS lives in a shared directory across hosts"
            else
              STDERR.puts "Start compiling CSS: #{Time.zone.now}"
          
              RailsMultisite::ConnectionManagement.each_connection do |db|
                # CSS will get precompiled during first request if tables do not exist.
                if ActiveRecord::Base.connection.table_exists?(Theme.table_name)
                  STDERR.puts "-------------"
                  STDERR.puts "Compiling CSS for #{db} #{Time.zone.now}"
                  begin
                    Stylesheet::Manager.recalculate_fs_asset_cachebuster!
                    Stylesheet::Manager.precompile_css if db == "default"
                    Stylesheet::Manager.precompile_theme_css
                  rescue PG::UndefinedColumn, ActiveModel::MissingAttributeError, NoMethodError => e
                    STDERR.puts "#{e.class} #{e.message}: #{e.backtrace.join("\n")}"
                    STDERR.puts "Skipping precompilation of CSS cause schema is old, you are precompiling prior to running migrations."
                  end
                end
              end
          
              STDERR.puts "Done compiling CSS: #{Time.zone.now}"
            end
          end
          
          task "assets:flush_sw" => "environment" do
            begin
              hostname = Discourse.current_hostname
              default_port = SiteSetting.force_https? ? 443 : 80
              port = SiteSetting.port.to_i > 0 ? SiteSetting.port : default_port
              STDERR.puts "Flushing service worker script"
              `curl -s -m 1 --resolve '#{hostname}:#{port}:127.0.0.1' #{Discourse.base_url}/service-worker.js > /dev/null`
              STDERR.puts "done"
            rescue StandardError
              STDERR.puts "Warning: unable to flush service worker script"
            end
          end
          
          def assets_path
            "#{Rails.root}/public/assets"
          end
          
          def gzip(path)
            cmd = "gzip -f -c -9 #{path} > #{path}.gz"
            system cmd, exception: true
          end
          
          def brotli_command(path)
            compression_quality = ENV["DISCOURSE_ASSETS_PRECOMPILE_DEFAULT_BROTLI_QUALITY"] || "6"
            "brotli -f --quality=#{compression_quality} #{path} --output=#{path}.br"
          end
          
          def brotli(path)
            system brotli_command(path), exception: true
          end
          
          def concurrent?
            if ENV["SPROCKETS_CONCURRENT"] == "1"
              concurrent_compressors = []
              executor = Concurrent::FixedThreadPool.new(Concurrent.processor_count)
          
              yield(
                Proc.new do |&block|
                  concurrent_compressors << Concurrent::Future.execute(executor: executor) { block.call }
                end
              )
          
              concurrent_compressors.each(&:wait!)
            else
              yield(Proc.new { |&block| block.call })
            end
          end
          
          def current_timestamp
            Process.clock_gettime(Process::CLOCK_MONOTONIC)
          end
          
          def log_task_duration(task_description, &task)
            task_start = current_timestamp
            task.call
            STDERR.puts "Done '#{task_description}' : #{(current_timestamp - task_start).round(2)} secs"
            STDERR.puts
          end
          
          task "assets:precompile:compress_js": "environment" do
            puts "Compressing JavaScript files"
          
            load_path = Rails.application.assets.load_path
          
            log_task_duration("Done compressing all JS files") do
              concurrent? do |proc|
                load_path
                  .assets
                  .select { |asset| asset.logical_path.extname == ".js" }
                  .each do |asset|
                    digested_path = asset.digested_path.to_s
          
                    if digested_path.include? "discourse/tests"
                      STDERR.puts "Skipping: #{digested_path}"
                      next
                    end
          
                    proc.call do
                      log_task_duration(digested_path) do
                        STDERR.puts "Compressing: #{digested_path}"
                        file_path = "public/assets/#{digested_path}"
                        gzip(file_path)
                        brotli(file_path)
                      end
                    end
                  end
              end
            end
          
            if GlobalSetting.fallback_assets_path.present?
              begin
                FileUtils.cp_r("#{Rails.root}/public/assets/.", GlobalSetting.fallback_assets_path)
              rescue => e
                STDERR.puts "Failed to backup assets to #{GlobalSetting.fallback_assets_path}"
                STDERR.puts e
                STDERR.puts e.backtrace
              end
            end
          end
          
          task "assets:precompile:asset_processor": "environment" do
            AssetProcessor.build_production_asset_processor
          end
          
          # Run these tasks **before** Rails' "assets:precompile" task
          task "assets:precompile": %w[assets:precompile:before assets:precompile:asset_processor]
          
          # Run these tasks **after** Rails' "assets:precompile" task
          Rake::Task["assets:precompile"].enhance do
            Rake::Task["assets:precompile:compress_js"].invoke
            Rake::Task["assets:precompile:css"].invoke
            Rake::Task["maxminddb:refresh"].invoke
          end

This file has been truncated. show original

Roi · 2024 年 7 月 18 日午後 12:38

では、これはすでに機能していますか？ app.yml で DISCOURSE_MAXMIND_BACKUP_PATH を設定する（コンテナ内からの内部リンク、または Docker ホスト上の絶対リンク？）ことで、再構築中の Maxmind からのダウンロードを無効にできますか？

pfaffman · 2024 年 7 月 18 日午後 12:54

コードの中にあります。使ったことはありません。そこにパスを含めると、それが見つかるようです。覚えていませんが、ディレクトリへのパスだと思います。

Roi · 2024 年 7 月 18 日午後 2:04

はい、試すことができます。テスト専用のインスタンスがいくつかあります。

ファイルがローカルで取得されたか、ダウンロードされたかを確認できますか？

Dockerホスト上の /var/discourse/maxmind のようなものですか？

pfaffman · 2024 年 7 月 18 日午後 2:11

申し訳ありません。よくわかりません。ディレクトリを求めているようで、好きなように設定できます。そのため、app.yml に次のようなボリュームを追加するかもしれません。

  - volume:
      host: /data/
      guest: /data

そして DISCOURSE_maxmind_backup_path=/data/mmdb (環境変数の大文字小文字を修正) です。

こちらがコードです。

github.com/discourse/discourse

lib/tasks/maxminddb.rake

6344e3f93


      
          end
          
          maxmind_thread = nil
          
          task "maxminddb:refresh": "environment" do
            refresh_days = GlobalSetting.refresh_maxmind_db_during_precompile_days
            next if refresh_days.to_i <= 0
          
            mmdb_time = get_mmdb_time(DiscourseIpInfo.path)
          
            if GlobalSetting.maxmind_backup_path.present?
              backup_mmdb_time = get_mmdb_time(GlobalSetting.maxmind_backup_path)
              puts "Detected MaxMindDB backup (downloaded: #{backup_mmdb_time}) at #{GlobalSetting.maxmind_backup_path}"
              mmdb_time ||= backup_mmdb_time
            end
          
            if backup_mmdb_time && backup_mmdb_time >= mmdb_time
              copy_maxmind(GlobalSetting.maxmind_backup_path, DiscourseIpInfo.path)
              mmdb_time = backup_mmdb_time
            end

github.com/discourse/discourse

lib/tasks/maxminddb.rake

6344e3f93


      
          GEOLITE_DBS ||= %w[GeoLite2-City GeoLite2-ASN]
          
          desc "downloads MaxMind's GeoLite2-City databases"
          task "maxminddb:get" => "environment" do
            GEOLITE_DBS.each do |name|
              puts "Downloading MaxMindDb's #{name}..."
              DiscourseIpInfo.mmdb_download(name)
            end
          end
          
          def get_mmdb_time(root_path)
            mmdb_time = nil
          
            GEOLITE_DBS.each do |name|
              path = File.join(root_path, "#{name}.mmdb")
          
              if File.exist?(path)
                mmdb_time = File.mtime(path)
              else
                mmdb_time = nil
                break

Roi · 2024 年 7 月 18 日午後 2:35

再度ありがとうございます。/var/discourse/shared/discourse_test/data/mmdb を作成し、app.yml に以下の変更を加えました。

  ## IPアドレス検索用の MaxMind geolocation IP アドレスキー
  ## 詳細については https://meta.discourse.org/t/-/137387/23 を参照してください
  DISCOURSE_MAXMIND_ACCOUNT_ID: 123456
  DISCOURSE_MAXMIND_LICENSE_KEY: abcdefg
  DISCOURSE_MAXMIND_BACKUP_PATH: /data/mmdb

## Docker コンテナはステートレスです。すべてのデータは /shared に保存されます。
volumes:
  - volume:
      host: /var/discourse/shared/discourse_test
      guest: /shared
  - volume:
      host: /var/discourse/shared/discourse_test/log/var-log
      guest: /var/log
  - volume:
      host: /var/discourse/shared/discourse_test/data
      guest: /data

DISCOURSE_MAXMIND_BACKUP_PATH を追加し、3つ目のボリュームを追加しました。

DISCOURSE_MAXMIND_BACKUP_PATH のディレクトリは正しいですか？パスはコンテナ内のパスですか？

DISCOURSE_MAXMIND_ACCOUNT_ID と DISCOURSE_MAXMIND_LICENSE_KEY を削除する必要はありますか？

すみません、興奮しすぎて少し不明瞭になってしまいました。

Roi · 2024 年 7 月 18 日午後 3:55

はい、わかりました

MaxMindDBのバックアップを検出しました（ダウンロード日時: 2024-07-17 23:15:02 +0000） /data/mmdb
MaxMindDBを/data/mmdbから/var/www/discourse/vendor/dataにコピーしています
MaxMindDBは最後に2024-07-17 23:15:02 +0000にダウンロードされたため、ダウンロードをスキップします

これが（というか「私たちが」）見たかったものだと思います。

pfaffman · 2024 年 7 月 18 日午後 6:12

追加のボリュームをスキップして、以下のようにできたと思います。

DISCOURSE_MAXMIND_BACKUP_PATH: /shared/data

しかし、他にそのデータベースを最新の状態に保つプロセスがある場合は、そのディレクトリをマウントして、ドライブ上にローカルコピーを1つだけ持つようにすれば、そのコピーだけを更新すればよくなります。

Roi · 2024 年 7 月 19 日午後 4:54

そのままにしておくつもりです。私の考えでは、それはより明確な構成であり、数か月後でも理解できるはずです。また、私のものだけでなく、より汎用的で多くのユースケースに対応できる可能性があります。

MaxMindからダウンロードした3つのmmdbファイルをそのディレクトリにコピーしています。使用しているスクリプトを調整しただけです（ちなみに、ダウンロードにはgeoipupdateを使用しています。これはDebian（およびおそらく他のLinuxディストリビューション）のパッケージとしても利用可能です）。

4つの異なるDiscourseコンテナの再構築が完了しました。すべてエラーなしです！これは数か月間起こりませんでした。素晴らしいです！

kuaza · 2024 年 7 月 26 日午後 11:42

この問題はまだ解決していません。インシデントの詳細を説明します。
管理画面からアップデートを実行しましたが、途中で停止しました。そこで、SSHパネルから再コンパイルを開始しました。エラーが発生しました。以下にエラーの例を示します。

その後、新しいMaxMindキーを作成して再コンパイルしましたが、同じエラーが再度発生しました。（興味深いことに、キーが有効化されていなかったのかもしれません。）

その後、app.ymlファイルでMaxMindの設定を無効にし、再コンパイルしたところ、コンパイルは成功しました。

使用したアドオンは画像に示されています。その他に使用したもの:

Cloudflare R2
独立したPostgreSQLサーバー
Cloudflare

何が問題の原因となっているのか、もう分かりません。

トピック		返信	表示
Rebuild failing due to MaxMind DB Bug maxmind	9	1605	2019 年 6 月 21 日
Setting DISCOURSE_MAXMIND_LICENSE_KEY breaks docker image/container build Installation maxmind	22	1280	2024 年 5 月 16 日
Upgrade / Rebuilds Fail due to MaxMind DB EOL Installation maxmind	15	8553	2020 年 3 月 6 日
Update from 3.0.0.beta16 to 3.1.0.beta2 Installation	22	1297	2023 年 4 月 30 日
Build failure, unable to download the MaxMind geolocation database Installation maxmind	9	1022	2019 年 10 月 31 日

MAXMINDの日次制限を使い切ると、リビルドが常に失敗します。

関連トピック